خلاصه برای مدیران: تحریم داکر فقط یکی از سه ریسکی است که pipeline تیم‌های ایرانی را تهدید می‌کند. دو ریسک دیگر سقف دانلود ایمیج از Docker Hub و قطع اینترنت بین‌الملل‌اند. میرور عمومی فقط بخشی از ریسک اول را پوشش می‌دهد. راه‌حل پایدار سه لایه دارد: رجیستری و کش داخلی، ایمیج‌های پایه‌ی خودتان که با digest پین شده‌اند، و وارسی هر چیزی که از بیرون وارد می‌شود. معیار موفقیت ساده است: اگر خروجی اینترنت بین‌الملل را ببندید، build و deploy باید همچنان کار کنند.

تحریم داکر برای تیم‌های ایرانی خبر تازه‌ای نیست. بیشتر تیم‌ها هم یک بار با آن روبه‌رو شده‌اند، یک میرور در daemon.json گذاشته‌اند و رفته‌اند سراغ کار بعدی. مشکل این است که این کار یک مسئله‌ی معماری را مثل یک مسئله‌ی تنظیمات حل می‌کند. وقتی تیم دیگر نمی‌داند هر build از کجا و از چند دامنه‌ی خارجی چیز می‌گیرد، روزی که یکی از آن‌ها قطع شود، اولین کسی که می‌فهمد همان کسی است که باید یک hotfix منتشر کند.

این نوشته برای مدیر فنی و مهندس ارشدی است که می‌خواهد بداند زنجیره تأمین کانتینر تیمش کجا شکننده است و برای محکم کردنش چه چیزی لازم است و چه چیزی زیادی است.

زنجیره تأمین کانتینر چیست؟

زنجیره تأمین کانتینر همه‌ی چیزهایی است که build و deploy شما از بیرون از کد خودتان می‌گیرند. فهرستش معمولاً از آنچه تیم فکر می‌کند بلندتر است:

نقشه‌ی وابستگی‌های خارجی یک pipeline کانتینری: ایمیج پایه، ایمیج CI، ایمیج‌های کوبرنتیز، پکیج‌ها و ابزارها
نقشه‌ی وابستگی‌های خارجی یک pipeline کانتینری: ایمیج پایه، ایمیج CI، ایمیج‌های کوبرنتیز، پکیج‌ها و ابزارها

برای دیدن زنجیره‌ی تیم خودتان یک آزمون ساده کافی است: یک build کامل را روی ماشینی اجرا کنید که خروجی‌اش لاگ می‌شود، و فهرست دامنه‌هایی را که به آن‌ها وصل شده بنویسید. هر دامنه‌ای در این فهرست که بیرون از کنترل شماست، یک نقطه‌ی شکست است.

تحریم داکر فقط یکی از سه ریسک است

۱. مسدودسازی بر اساس IP

Docker Hub درخواست‌هایی را که از آی‌پی ایران می‌آیند با خطای ۴۰۳ رد می‌کند. متن پیام خطا صریح است: داکر به‌عنوان یک شرکت آمریکایی مقررات کنترل صادرات آمریکا را رعایت می‌کند و آی‌پی‌های کوبا، ایران، کره شمالی، کریمه، سودان و سوریه را مسدود می‌کند. GitLab.com هم پیش از مهاجرت به Google Cloud در سال ۲۰۱۸ به کاربران ایران هشدار داد که ممکن است دیگر در دسترس نباشد. GitHub مسیر برعکس را رفت: حساب‌ها را محدود کرد و بعد با مجوز OFAC دسترسی را برگرداند. این تاریخچه را در دواپس چیست؟ کامل‌تر گفته‌ایم.

دو نکته‌ی عملی از این ریسک بیرون می‌آید. اول، وضعیت در هر دو جهت عوض می‌شود و نمی‌شود رویش برنامه ریخت. دوم، مسدودسازی بر اساس IP است. runnerی که خارج از ایران اجرا می‌شود رفتار دیگری دارد تا سروری که داخل ایران است؛ همین است که بعضی تیم‌ها نتیجه‌ی ناپایدار می‌بینند و علتش را پیدا نمی‌کنند.

۲. سقف دانلود ایمیج

حتی وقتی Docker Hub در دسترس است، دانلود بی‌سقف نیست. طبق مستندات فعلی داکر، کاربر بدون لاگین در هر ۶ ساعت ۱۰۰ pull به ازای هر آدرس IPv4 دارد و حساب رایگان ۲۰۰ pull. اگر چند سرور یا runner پشت یک آی‌پی مشترک دیتاسنتر باشند، این سقف زودتر از آنچه فکر می‌کنید پر می‌شود. pipelineی که صبح سبز بود، عصر بی‌دلیل قرمز می‌شود.

۳. قطع اینترنت بین‌الملل

این ریسکی است که در منابع خارجی تقریباً وجود ندارد و برای تیم‌های ایرانی از دو مورد قبلی سنگین‌تر بوده است. در یک سال اخیر دسترسی به اینترنت بین‌الملل دو بار برای مدت طولانی قطع شد: یک بار حدود ۲۰ روز در دی ۱۴۰۴، و بار دیگر از ۹ اسفند ۱۴۰۴ به مدت حدود ۸۸ روز، تا بازگشت نسبی دسترسی در خرداد ۱۴۰۵. در این دوره‌ها شبکه‌ی داخلی کار می‌کرد، اما هر چیزی که داخل کشور نبود در دسترس نبود.

نکته‌ی کلیدی این است که در قطعی، یک میرور داخلی هم فقط همان چیزی را دارد که قبلاً کش کرده است. ایمیجی که هیچ‌کس پیش از قطعی pull نکرده، در هیچ میروری پیدا نمی‌شود.

تجربه‌ی خود ما در این دوره همین را نشان داد. pipelineهای دراپ و مشتریانش کندتر و سخت‌تر از همیشه پیش می‌رفتند، مخصوصاً وقتی پروژه‌ای به یک وابستگی تازه نیاز داشت، اما هیچ‌وقت متوقف نشدند. دلیلش این بود که بخش بزرگ وابستگی‌ها از قبل در کش‌های داخلی بودند. سخت‌ترین بخش کار، وارد کردن وابستگی‌های تازه بود؛ در ادامه به آن برمی‌گردیم.

هر راه‌حلی باید جواب هر سه ریسک را بدهد. میرور عمومی فقط بخشی از ریسک اول را حل می‌کند.

اگر همین امروز build شما با ۴۰۳ متوقف شده

اول کار فوری، بعد معماری. سریع‌ترین راه برای ادامه‌ی کار، فرستادن درخواست‌ها به یک میرور است. ما در این نوشته از میرور خاصی نام نمی‌بریم، چون فهرست‌ها زود کهنه می‌شوند و انتخاب میرور باید با معیارهای پایین این بخش انجام شود.

روی Docker: در فایل /etc/docker/daemon.json:

{
  "registry-mirrors": ["https://mirror.example.ir"]
}

این تنظیم فقط برای Docker Hub کار می‌کند. مستندات داکر صریحاً می‌گوید فقط رجیستری مرکزی داکر قابل میرور شدن است. ایمیج‌های ghcr.io یا quay.io با این روش از میرور نمی‌آیند و باید آدرسشان را در خود نام ایمیج عوض کنید.

روی نودهای کوبرنتیز (containerd): containerd برای هر رجیستری یک پوشه در /etc/containerd/certs.d/ می‌پذیرد، به شرطی که config_path در تنظیمات رجیستری CRI به همین مسیر اشاره کند. برای Docker Hub، فایل docker.io/hosts.toml:

server = "https://registry-1.docker.io"

[host."https://mirror.example.ir"]
  capabilities = ["pull", "resolve"]

همین الگو برای ghcr.io، quay.io و registry.k8s.io هم کار می‌کند، به شرطی که میرور آن رجیستری را پوشش دهد. روی k3s همین تنظیم در /etc/rancher/k3s/registries.yaml انجام می‌شود.

یک هشدار مهم: قابلیت resolve یعنی میرور تصمیم می‌گیرد هر tag به کدام ایمیج اشاره کند. میروری که دست کس دیگری است، می‌تواند برای nginx:1.27 چیزی غیر از nginx رسمی بدهد؛ از روی عمد یا از روی خطا. برای همین در production ایمیج را با digest بخواهید، نه با tag:

FROM nginx:1.27@sha256:<digest-from-a-trusted-source>

digest را از منبعی جدا از خود میرور بگیرید، مثلاً از جایی که به رجیستری اصلی دسترسی دارد. اگر میرور ایمیج دیگری بدهد، pull شکست می‌خورد و این دقیقاً همان رفتاری است که می‌خواهید.

برای انتخاب میرور این‌ها را بپرسید:

میرور عمومی راه‌حل اضطراری است، نه معماری. برای امروز کافی است؛ برای سرویسی که مشتری دارد، نه.

معماری پایدار در سه لایه

معماری سه‌لایه‌ی زنجیره تأمین کانتینر در حالت عادی و در زمان قطع اینترنت بین‌الملل
معماری سه‌لایه‌ی زنجیره تأمین کانتینر در حالت عادی و در زمان قطع اینترنت بین‌الملل

لایه‌ی ۱: رجیستری داخلی با proxy cache

همه‌ی pullها، از لپ‌تاپ برنامه‌نویس تا runner و نود کلاستر، فقط از یک رجیستری داخلی انجام می‌شوند. این رجیستری در حالت proxy cache جلوی رجیستری‌های بیرونی می‌نشیند: اولین درخواست هر ایمیج را از بیرون می‌گیرد، نگه می‌دارد و درخواست‌های بعدی را از همان نسخه جواب می‌دهد. سقف pull Docker Hub هم دیگر به تعداد سرورهای شما بستگی ندارد.

سه گزینه‌ی رایج:

ما در پروژه‌های مختلف از هر سه استفاده می‌کنیم: Harbor، Nexus و رجیستری GitLab، بسته به اینکه پروژه چه وابستگی‌هایی دارد و چه زیرساختی از قبل در آن هست.

یک نکته که معمولاً جا می‌افتد: سیاست نگهداری کش. Harbor برای هر پروژه‌ی proxy cache به‌طور پیش‌فرض یک سیاست نگهداری ۷روزه می‌گذارد. کشی که ایمیج‌های کم‌استفاده را پاک می‌کند، دقیقاً روزی خالی است که بیشتر از همیشه به آن نیاز دارید. ایمیج‌هایی را که production برای راه‌اندازی به آن‌ها نیاز دارد، به کش نسپارید؛ لایه‌ی بعدی برای همین است.

لایه‌ی ۲: ایمیج‌های پایه‌ی خودتان، پین‌شده با digest

کش برای راحتی است؛ چیزی که production به آن تکیه می‌کند باید مالکیتش با خودتان باشد. الگوی ساده این است:

  1. ایمیج‌های پایه‌ای را که تیم استفاده می‌کند در یک پروژه‌ی جدا در رجیستری داخلی کپی کنید، مثلاً registry.internal/base/python:3.12. ابزارهایی مثل skopeo یا crane، یا replication خود Harbor، این کار را انجام می‌دهند.
  2. Dockerfileهای پروژه‌ها فقط از همین ایمیج‌ها شروع کنند، با digest.
  3. به‌روزرسانی ایمیج‌های پایه یک کار زمان‌بندی‌شده باشد، مثلاً هفتگی، نه اتفاقی که در هر build رخ دهد. ابزاری مثل Renovate می‌تواند digestها را به‌روز کند و برایش merge request باز کند.

نتیجه این است که هر build دقیقاً همان چیزی را می‌سازد که دیروز ساخت، و هر تغییر در ایمیج پایه یک تغییر قابل بازبینی در Git است.

لایه‌ی ۳: وارسی هر چیزی که وارد می‌شود

هر ایمیج یا پکیجی که از بیرون وارد رجیستری داخلی می‌شود، باید پیش از استفاده بررسی شود:

در pipelineهای ما Trivy و SonarQube دروازه‌ی کیفیت‌اند و تغییری که از آن‌ها رد نشود منتشر نمی‌شود. جزئیات این بخش را در صفحه‌ی امنیت و DevSecOps گفته‌ایم.

پکیج‌ها را فراموش نکنید

بیشتر تیم‌ها ایمیج را کش می‌کنند و یادشان می‌رود که Dockerfile در ادامه pip install و npm ci و apt-get install دارد. اگر این‌ها هنوز مستقیم به اینترنت بروند، رجیستری داخلی فقط نصف مسئله را حل کرده است. برای هر مدیر پکیج یک proxy داخلی بگذارید (Nexus برای بیشترشان کافی است، و برای Go متغیر GOPROXY) و آدرس‌ها را در ایمیج‌های پایه‌ی خودتان تنظیم کنید تا هر پروژه جدا تنظیمش نکند.

وابستگی تازه، سخت‌ترین بخش

تجربه‌ی دوره‌ی قطعی یک درس روشن داشت: آنچه در کش بود کار می‌کرد، و مشکل از جایی شروع می‌شد که پروژه به چیزی تازه نیاز داشت. برای همین ورود وابستگی تازه باید یک روال تعریف‌شده باشد، نه یک کار دستی در لحظه‌ی بحران:

GitLab خودمیزبان: فراتر از نصب

برای تیمی که نمی‌خواهد کد و CI به GitLab.com یا سرویس خارجی دیگری وابسته باشد، GitLab خودمیزبان انتخاب طبیعی است: کد، CI، رجیستری کانتینر، Dependency Proxy و رجیستری پکیج در یک جا و روی زیرساخت خودتان. چیزهایی که بعد از نصب اهمیت پیدا می‌کنند:

کی ارزشش را دارد و کی نه

همه‌ی تیم‌ها به همه‌ی این لایه‌ها نیاز ندارند. حکم مهندسی ما این است:

قاعده‌ی سرانگشتی ما: هر چیزی که production برای بالا آمدن از صفر لازم دارد، باید داخل شبکه‌ی شما باشد و مالکیتش با خودتان. بقیه می‌تواند در کش باشد.

مقایسه‌ی میرور عمومی، کش داخلی و رجیستری مستقل از نظر تاب‌آوری در قطعی، اعتماد و هزینه‌ی نگهداری
مقایسه‌ی میرور عمومی، کش داخلی و رجیستری مستقل از نظر تاب‌آوری در قطعی، اعتماد و هزینه‌ی نگهداری

چک‌لیست بلوغ: زنجیره تأمین تیم شما کجاست؟

از پایین بخوانید. سطحی که همه‌ی موارد آن را با «بله» جواب می‌دهید، سطح فعلی شماست.

چهار سطح بلوغ زنجیره تأمین کانتینر: وابسته‌ی مستقیم، میرور عمومی، کش داخلی و مستقل و آزموده
چهار سطح بلوغ زنجیره تأمین کانتینر: وابسته‌ی مستقیم، میرور عمومی، کش داخلی و مستقل و آزموده

سطح ۱: وابسته‌ی مستقیم

سطح ۲: میرور عمومی

سطح ۳: کش داخلی

سطح ۴: مستقل و آزموده

پرش از سطح ۲ به ۳ بیشترین اثر را در کل این مسیر دارد و به ابزار گران نیاز ندارد؛ بیشتر به انضباط نیاز دارد.

دراپ تمپو در این حوزه چه می‌کند

دراپ تمپو بخش زیرساخت و عملیات دراپ است. در راه‌اندازی CI/CD زنجیره تأمین را هم طراحی می‌کنیم: رجیستری و کش داخلی، ایمیج‌های پایه‌ی پین‌شده، proxy پکیج‌ها، اسکن در pipeline و در صورت نیاز GitLab خودمیزبان روی زیرساخت خود مشتری. برای کلاسترهای کوبرنتیز، همین طراحی بخشی از کوبرنتیز مدیریت‌شده است. اگر می‌خواهید بدانید pipeline شما در روز قطعی چه رفتاری دارد، ممیزی اولیه همین را با عدد نشان می‌دهد.

سؤال‌های متداول

چرا داکر هاب از ایران خطای ۴۰۳ می‌دهد؟

Docker Hub برای رعایت مقررات کنترل صادرات آمریکا، درخواست‌هایی را که از آی‌پی‌های ایران و چند کشور و منطقه‌ی دیگر می‌آیند رد می‌کند. خطا از سمت داکر است و با تغییر تنظیمات Docker روی سرور شما برطرف نمی‌شود. راه کار یا یک میرور یا رجیستری داخلی است.

آیا رفع تحریم داکر با میرور یا تغییر DNS راه‌حل دائمی است؟

نه. این روش‌ها مسدودسازی را دور می‌زنند، اما جلوی سقف pull و قطع اینترنت بین‌الملل را نمی‌گیرند. یک لایه‌ی اعتماد تازه هم اضافه می‌کنند، چون اداره‌کننده‌ی میرور تعیین می‌کند هر tag به کدام ایمیج اشاره کند. برای production رجیستری داخلی و digest لازم است.

آیا registry-mirrors برای ghcr.io و quay.io هم کار می‌کند؟

نه. تنظیم registry-mirrors در Docker فقط برای Docker Hub است. برای رجیستری‌های دیگر یا باید نام ایمیج را عوض کنید، یا در containerd برای هر رجیستری تنظیم جدا بگذارید، یا از رجیستری داخلی‌ای مثل Harbor استفاده کنید که برای چند رجیستری proxy cache دارد.

Harbor، Nexus یا رجیستری GitLab؟

اگر فقط ایمیج کانتینر دارید و اسکن و کنترل دسترسی می‌خواهید، Harbor. اگر چند زبان و چند نوع پکیج دارید، Nexus همه را در یک جا جمع می‌کند. اگر GitLab خودمیزبان دارید و نیازتان ساده است، رجیستری و Dependency Proxy خود GitLab کمترین ابزار اضافه را دارد. ترکیب آن‌ها هم رایج است.

اگر اینترنت بین‌الملل قطع شود، کلاستر کوبرنتیز چه می‌شود؟

podهایی که روی نودهای فعلی در حال اجرا هستند معمولاً اجرا می‌مانند، چون ایمیجشان روی نود هست. مشکل وقتی پیش می‌آید که pod روی نودی تازه بالا بیاید یا نسخه‌ی تازه منتشر شود. اگر ایمیج‌ها در رجیستری داخلی نباشند، pod با ImagePullBackOff می‌ماند.

اگر تحریم‌ها برداشته شوند، این کارها بی‌فایده می‌شوند؟

نه. سقف pull، قطعی شبکه و امنیت زنجیره تأمین سر جایشان هستند. شرکت‌هایی که هیچ مشکل تحریمی ندارند هم به همین دلیل رجیستری داخلی و ایمیج‌های پایه‌ی خودشان را دارند. در ایران فقط هزینه‌ی نداشتنش زودتر و سنگین‌تر پرداخت می‌شود.

نوشته‌ی تیم مهندسی دراپ تمپو