خلاصه برای مدیران: دواپس (DevOps) شیوه‌ای از کار است که در آن توسعه و عملیات نرم‌افزار یک مسئولیت مشترک دارند: تغییر را سریع و امن به دست کاربر رساندن و سرویس را پایدار نگه داشتن. دواپس سه پایه دارد: فرهنگ مالکیت مشترک، خودکارسازی مسیر کد تا production، و سنجش با عدد. عنوان شغلی یا مجموعه‌ای از ابزارها دواپس نیست. اگر نمی‌توانید با عدد بگویید هر تغییر چقدر طول می‌کشد تا به کاربر برسد و چند درصد استقرارها مشکل می‌سازند، هنوز دواپس ندارید؛ چه تیم داخلی داشته باشید، چه این کار را برون‌سپاری کرده باشید.

بیشتر نوشته‌های فارسی درباره‌ی دواپس برای کسی نوشته شده‌اند که می‌خواهد مهندس دواپس شود: تعریف، فهرست ابزار و مسیر یادگیری. این نوشته برای کسی است که باید درباره‌ی دواپس تصمیم بگیرد: مدیر فنی، تک‌لید یا مدیر IT که می‌خواهد بداند تیمش کجای مسیر است، چه چیزی را باید بسنجد، و اگر بخشی از کار را به تیم دیگری می‌سپارد، دقیقاً چه چیزی را باید تحویل بگیرد.

دواپس چیست؟

دواپس از ترکیب Development و Operations ساخته شده است. سال‌ها در بیشتر شرکت‌ها این دو تیم هدف‌های متضادی داشتند. تیم توسعه با تعداد ویژگی‌های تازه سنجیده می‌شد و تیم عملیات با پایداری سرویس. نتیجه دیواری بود که کد از یک طرفش پرت می‌شد و آن طرف کسی باید آن را زنده نگه می‌داشت. هر انتشار یک رویداد پرتنش بود و هر قطعی شروع یک دعوای تازه.

این واژه از یک کنفرانس آمد. پاتریک دبوا در اکتبر ۲۰۰۹ اولین DevOpsDays را در شهر گنت بلژیک برگزار کرد. الهامش سخنرانی معروف جان آلسپا و پل هموند در کنفرانس Velocity همان سال بود با عنوان «بیش از ۱۰ استقرار در روز: همکاری Dev و Ops در فلیکر». اسم کنفرانس کوتاه شد و به اسم یک جنبش تبدیل شد.

تعریف دقیق‌تر را می‌شود با چارچوب CALMS گفت. جان ویلیس و دیمن ادواردز اول چهار حرفش را مطرح کردند و جز هامبل حرف L را به آن اضافه کرد:

از دیوار بین تیم‌ها تا جریان مشترک: مقایسه‌ی مدل سنتی جدایی توسعه و عملیات با مدل دواپس
از دیوار بین تیم‌ها تا جریان مشترک: مقایسه‌ی مدل سنتی جدایی توسعه و عملیات با مدل دواپس

دواپس چه چیزهایی نیست

سه برداشت رایج از دواپس در عمل بیشترین هزینه را می‌سازند:

دواپس از فرهنگ تیم شروع می‌شود

اگر فقط یک جمله از این نوشته در ذهنتان بماند، این باشد: تیمی که چیزی را می‌سازد، در اجرا و نگهداری‌اش هم سهم دارد. وقتی برنامه‌نویس می‌داند خطای ساعت سه صبح به خودش هم می‌رسد، کد دیگری می‌نویسد: لاگ بهتر، تست بیشتر، تغییر کوچک‌تر.

فرهنگ دواپس در چند رفتار مشخص دیده می‌شود، نه در شعار:

نشانه‌های فرهنگی که هنوز دواپس نیست هم آشنایند: انتشار فقط پنجشنبه‌شب‌ها و فقط با حضور یک نفر خاص؛ جمله‌ی «روی سیستم من کار می‌کرد»؛ سروری که هیچ‌کس جرئت ری‌استارت کردنش را ندارد؛ و پسوردی که در گروه پیام‌رسان دست‌به‌دست می‌شود.

چه چیزی باید خودکار باشد

فرهنگ بدون خودکارسازی دوام نمی‌آورد. اگر هر استقرار دو ساعت کار دستی بخواهد، تیم ناخواسته استقرار را عقب می‌اندازد، تغییرها روی هم انباشته می‌شوند و ریسک هر انتشار بالا می‌رود. این شش حوزه پایه‌ی فنی دواپس‌اند:

  1. همه‌چیز در کنترل نسخه. نه فقط کد برنامه؛ تنظیمات، تعریف زیرساخت، اسکریپت‌های دیتابیس و خود pipeline هم در Git هستند. هر تغییر تاریخچه و بازبین دارد.
  2. CI/CD. هر تغییر به‌طور خودکار ساخته و تست می‌شود و با یک مسیر تکرارپذیر به production می‌رسد. راه برگشت هم خودکار است. یک نمونه‌ی واقعی از این مسیر را در از دیپلوی ترسناک تا Zero-downtime نوشته‌ایم.
  3. زیرساخت به‌عنوان کد. سرور، شبکه و تنظیمات با ابزاری مثل Terraform یا Ansible تعریف می‌شوند، نه با کلیک در پنل. زیرساختی که در کد تعریف شده را می‌شود دوباره ساخت؛ زیرساختی که فقط در حافظه‌ی یک نفر است را نمی‌شود.
  4. مشاهده‌پذیری (Observability). متریک، لاگ و trace طوری چیده شده‌اند که مشکل را تیم زودتر از مشتری ببیند. چرا لاگ به‌تنهایی کافی نیست را در راهنمای عملی Distributed Tracing توضیح داده‌ایم.
  5. امنیت در pipeline. اسکن کد و ایمیج بخشی از مسیر استقرار است، نه کاری که سالی یک بار کسی یادش بیفتد.
  6. بکاپ و بازیابی آزموده. بکاپی که بازگردانی‌اش هیچ‌وقت تست نشده، فقط یک فرض است.

در تیم خودمان چطور است

در دراپ تمپو هر تغییر پیش از رسیدن به production از یک دروازه‌ی کیفیت می‌گذرد: SonarQube کیفیت کد و آسیب‌پذیری‌های رایج را بررسی می‌کند و Trivy ایمیج‌های کانتینر و وابستگی‌ها را از نظر آسیب‌پذیری شناخته‌شده اسکن می‌کند. تغییری که از این دروازه رد نشود، منتشر نمی‌شود.

زیرساخت خودمان را هم اخیراً به Kubernetes با مدیریت Rancher منتقل کرده‌ایم و استقرار را با ArgoCD به روش GitOps انجام می‌دهیم. در این روش، وضعیت مطلوب سیستم در Git تعریف می‌شود و ArgoCD کلاستر را با آن هماهنگ نگه می‌دارد. هر استقرار یک commit است، هر برگشت هم. جزئیات این مهاجرت، از جمله چیزهایی که در مسیر غافلگیرمان کرد، موضوع یک مقاله‌ی جداست.

از کجا بفهمیم دواپس جواب داده؟

بدون عدد، «ما دواپس داریم» فقط یک ادعاست. پژوهش DORA (که اکنون بخشی از گوگل است) سال‌هاست عملکرد تحویل نرم‌افزار را در هزاران تیم بررسی می‌کند. چارچوبش امروز پنج شاخص در دو گروه دارد:

توان تحویل (Throughput)

ناپایداری (Instability)

شاخص‌های DORA برای سنجش دواپس: سه شاخص توان تحویل و دو شاخص ناپایداری
شاخص‌های DORA برای سنجش دواپس: سه شاخص توان تحویل و دو شاخص ناپایداری

نکته‌ی مهم این شاخص‌ها این است که سرعت و پایداری را با هم می‌سنجند. تیمی که فقط سریع‌تر منتشر می‌کند اما نرخ شکستش بالا رفته، پیشرفت نکرده؛ فقط مشکل را سریع‌تر به کاربر می‌رساند. برعکسش هم صادق است: تیمی که با کم کردن انتشارها پایدار مانده، هزینه‌ی آن را در کندی محصول می‌پردازد.

کنار این پنج شاخص، دو عدد عملیاتی هم باید روشن باشد: سطح خدمت هدف (SLO) برای هر سرویس مهم، مثلاً درصد درخواست‌های موفق در یک بازه‌ی مشخص، و زمان کشف، یعنی فاصله‌ی شروع مشکل تا اینکه کسی از آن باخبر شود. اگر بیشتر مشکلات را مشتری‌ها گزارش می‌کنند، هنوز چشم کافی روی سیستم ندارید.

برای شروع لازم نیست داشبورد پیچیده بسازید. یک جدول ماهانه با همین چند عدد، از هر گزارش «همه‌چیز خوب است» صادق‌تر است.

کی ارزشش را دارد و کی نه

اصول دواپس برای هر تیمی که نرم‌افزار در حال اجرا دارد ارزش دارد. اما مقدار سرمایه‌گذاری باید با اندازه‌ی ریسک جور باشد. حکم مهندسی ما این است:

قاعده‌ی سرانگشتی ما ساده است: اول تکرارپذیری، بعد سرعت، و در آخر مقیاس. هر ابزاری که این ترتیب را به هم بزند، احتمالاً زود آمده است.

دواپس در شرایط ایران

همه‌ی اصول بالا جهانی‌اند، اما تیم‌های ایرانی چند مسئله‌ی اضافه دارند که در منابع خارجی تقریباً دیده نمی‌شوند. در مقاله‌های بعدی هر کدام را مفصل‌تر باز می‌کنیم؛ اینجا فقط تصویر کلی را می‌گوییم.

وابستگی به سرویس‌های خارجی که یک‌شبه بسته می‌شوند. Docker Hub در پیام خطای ۴۰۳ خود اعلام کرده که برای رعایت مقررات کنترل صادرات آمریکا، آی‌پی‌های ایران را مسدود می‌کند. GitLab.com هم پس از مهاجرت به Google Cloud در سال ۲۰۱۸ به کاربران ایران هشدار داد که ممکن است دیگر در دسترس نباشد. GitHub در ۲۰۱۹ حساب کاربران ایرانی را محدود کرد و در ژانویه‌ی ۲۰۲۱ با گرفتن مجوز از وزارت خزانه‌داری آمریکا دسترسی را برگرداند. درس این تاریخچه این نیست که کدام سرویس امروز باز است؛ این است که وضعیت در هر دو جهت عوض می‌شود و pipeline شما نباید به آن گره خورده باشد.

راه‌حل عملی چند لایه دارد:

اختلال اینترنت بین‌الملل. اگر سرویس شما در ایران میزبانی می‌شود اما برای کار کردن به APIهای خارجی، CDN خارجی یا حتی فونت و اسکریپتی از دامنه‌ی خارجی وابسته است، در روزهای اختلال عملاً از کار می‌افتد؛ حتی اگر سرورهایتان کاملاً سالم باشند. هر وابستگی خارجی باید شناسایی شود و برای هر کدام روشن باشد که در نبودنش چه اتفاقی می‌افتد.

ابرهای ایرانی. ابرهای داخلی سرویس‌های مدیریت‌شده‌ای مثل کوبرنتیز، فضای ذخیره‌سازی شیء و CDN را با دسترسی پایدار از داخل ایران ارائه می‌کنند. در مقابل، تنوع سرویس‌ها و ابزارهای زیرساخت به‌عنوان کد برایشان معمولاً از ابرهای جهانی محدودتر است. توصیه‌ی ما مستقل از ارائه‌دهنده است: زیرساخت را طوری تعریف کنید که جابه‌جایی بین ارائه‌دهنده‌ها یک پروژه‌ی چندهفته‌ای باشد، نه یک بحران.

استخدام، تیم مدیریت‌شده یا ترکیبی

وقتی تصمیم گرفتید دواپس را جدی بگیرید، سؤال بعدی این است که چه کسی آن را انجام دهد. چهار مدل رایج وجود دارد:

مقایسه‌ی هزینه‌ی واقعی این مدل‌ها و نقطه‌ی سربه‌سرشان موضوع مقاله‌ی جداگانه‌ای است. اینجا به بخشی می‌پردازیم که معمولاً نادیده می‌ماند: اگر هر بخشی از دواپس را به تیم دیگری سپردید، قرارداد باید چه چیزی را تضمین کند.

از فرهنگ تا قرارداد: چه چیزی باید در قرارداد دواپس بیاید

قرارداد دواپس در واقع همان فرهنگ مالکیت مشترک است، این بار به زبان حقوقی. قراردادی که فقط می‌گوید «پشتیبانی سرورها» تقریباً هیچ چیز را تضمین نمی‌کند. این نُه بند را در هر قرارداد دواپس، چه پروژه‌ای و چه مستمر، بررسی کنید.

  1. دامنه‌ی کار به زبان سرویس، نه به زبان ساعت. کدام سرویس‌ها، کدام محیط‌ها (production، staging) و کدام کارها داخل قرارداد است و کدام بیرون از آن. «همه‌چیز» یعنی هیچ‌چیز.
  2. تقسیم مسئولیت. برای هر حوزه، از جمله کد برنامه، زیرساخت، دیتابیس، امنیت و هزینه‌ی ابر، روشن باشد چه کسی مسئول اجراست، چه کسی تأیید می‌کند و چه کسی فقط مطلع می‌شود.
  3. SLA با تعریف اندازه‌گیری. عدد دسترس‌پذیری بدون تعریف معنایی ندارد. باید معلوم باشد روی کدام سرویس، در چه بازه‌ای، با چه ابزاری و از کجا اندازه‌گیری می‌شود، و قطعی‌های برنامه‌ریزی‌شده حساب می‌شوند یا نه. برای مثال، در پروژه‌ی Hypernyx، دسترس‌پذیری Endpointهای اصلی در یک دوره‌ی اندازه‌گیری ۹۰روزه بالای ۹۹.۹٪ بوده است: یک عدد، همراه با سرویس و بازه‌اش.
  4. زمان پاسخ بر اساس شدت. قطعی کامل، اختلال جزئی و درخواست عادی زمان پاسخ متفاوتی دارند. هر سطح باید تعریف، زمان پاسخ و مسیر ارجاع (escalation) مشخص داشته باشد.
  5. آنکال واقعی. چه کسی، در چه ساعت‌هایی، با چه کانالی در دسترس است، و آیا تیم پشتیبان به لاگ و داشبورد دسترسی دارد یا فقط به یک شماره تلفن.
  6. مالکیت همه‌چیز با شما. مخزن کد، کد زیرساخت، اکانت‌های ابر، دامنه، کلیدها و رمزها باید به نام و در مالکیت شما باشند. تیم بیرونی دسترسی می‌گیرد، نه مالکیت. این مهم‌ترین بند این فهرست است.
  7. مستندات به‌عنوان تحویل‌دادنی. معماری، runbookها و روال بازیابی جزو خروجی قرارداد باشند و بازه‌ی به‌روزرسانی داشته باشند.
  8. گزارش ماهانه با عدد. همان شاخص‌های بالا: استقرارها، شکست‌ها، زمان بازیابی، دسترس‌پذیری و رخدادها، همراه با postmortem هر رخداد جدی.
  9. بند خروج و تحویل. اگر همکاری تمام شد، تحویل دانش، دسترسی‌ها و مستندات چطور و در چه مدتی انجام می‌شود. قراردادی که بیرون آمدن از آن سخت است، شما را گروگان نگه می‌دارد.
تقسیم مسئولیت در قرارداد دواپس: آنچه با کارفرما، با تیم دواپس و مشترک است
تقسیم مسئولیت در قرارداد دواپس: آنچه با کارفرما، با تیم دواپس و مشترک است

چیزهایی که نباید بپذیرید

در دراپ تمپو هر همکاری با ممیزی شروع می‌شود: بررسی وضع فعلی زیرساخت، ریسک‌ها و گلوگاه‌ها، که معمولاً یک تا دو هفته طول می‌کشد. SLA از روز اول با زمان پاسخ، دسترس‌پذیری و مسئولیت‌های مکتوب تعریف می‌شود و زیرساخت موجود فقط وقتی عوض می‌شود که دلیل روشنی برای تغییرش وجود داشته باشد.

چک‌لیست بلوغ: تیم شما کجاست؟

این چهار سطح را از پایین بخوانید. سطحی که همه‌ی موارد آن را با «بله» جواب می‌دهید، سطح فعلی شماست. اولین «نه» همان جایی است که کار بعدی‌تان را نشان می‌دهد.

چهار سطح بلوغ دواپس: دستی، خودکار پراکنده، استاندارد و سنجیده‌شده
چهار سطح بلوغ دواپس: دستی، خودکار پراکنده، استاندارد و سنجیده‌شده

سطح ۱: دستی

سطح ۲: خودکار پراکنده

سطح ۳: استاندارد

سطح ۴: سنجیده‌شده

بیشتر تیم‌هایی که ما می‌بینیم بین سطح ۲ و ۳ هستند. خبر خوب این است که پرش از ۲ به ۳ بیشتر به انضباط نیاز دارد تا به ابزار گران.

دراپ تمپو در این حوزه چه می‌کند

دراپ تمپو بخش زیرساخت و عملیات دراپ است. برای شرکت‌هایی که نمی‌خواهند یا نمی‌توانند تیم کامل دواپس داخلی بسازند، به‌عنوان تیم دواپس مدیریت‌شده کار می‌کند: طراحی و نگهداری CI/CD، زیرساخت به‌عنوان کد، مشاهده‌پذیری، امنیت در pipeline و آنکال و پاسخ به رخداد زیر یک SLA مکتوب. اگر می‌خواهید بدانید تیمتان در کدام سطح این چک‌لیست است، ممیزی اولیه‌ی زیرساخت از همان‌جا شروع می‌شود.

سؤال‌های متداول

دواپس به زبان ساده چیست؟

دواپس شیوه‌ای از کار است که در آن تیم توسعه و تیم عملیات مسئولیت مشترکی دارند: تغییرها را سریع و امن به کاربر برسانند و سرویس را پایدار نگه دارند. این کار با سه چیز انجام می‌شود: فرهنگ مالکیت مشترک، خودکارسازی مسیر کد تا production، و سنجش نتیجه با عدد.

تفاوت دواپس و SRE چیست؟

دواپس مجموعه‌ای از اصول و یک فرهنگ کاری است. SRE (مهندسی قابلیت اطمینان سایت) روشی مشخص برای پیاده‌سازی این اصول است که گوگل آن را شکل داده و در کتاب SRE گوگل شرح داده است. SRE با ابزارهایی مثل SLO و بودجه‌ی خطا (error budget) تصمیم می‌گیرد کی سرعت انتشار را بالا ببرد و کی آن را به نفع پایداری کم کند.

مهندس دواپس چه کار می‌کند و آیا یک نفر کافی است؟

مهندس دواپس مسیر کد تا production، زیرساخت، مشاهده‌پذیری و امنیت عملیاتی را می‌سازد و نگه می‌دارد. یک نفر می‌تواند شروع خوبی باشد، اما یک نفر به‌تنهایی پوشش ۲۴ ساعته و جانشین ندارد. اگر سرویس شما نباید شب‌ها بی‌صاحب بماند، به بیش از یک نفر یا به یک تیم پشتیبان نیاز دارید.

آیا شرکت کوچک هم به دواپس نیاز دارد؟

به اصولش بله، به ابزارهای سنگینش معمولاً نه. کد و تنظیمات در Git، یک pipeline ساده، بکاپ آزموده و هشدار قطعی برای هر تیمی که نرم‌افزار در حال اجرا دارد لازم است. Kubernetes و میکروسرویس را بگذارید برای وقتی که مسئله‌ای دارید که این‌ها حلش کنند.

دواپس با اجایل چه فرقی دارد؟

اجایل بیشتر به شیوه‌ی ساختن نرم‌افزار می‌پردازد: کار در دوره‌های کوتاه و بازخورد سریع از کاربر. دواپس همین منطق را تا انتشار و اجرای نرم‌افزار ادامه می‌دهد. تیمی که هر دو هفته یک نسخه آماده می‌کند اما ماهی یک بار منتشر می‌کند، اجایل دارد ولی دواپس ندارد.

پیاده‌سازی دواپس چقدر طول می‌کشد؟

به نقطه‌ی شروع بستگی دارد. ممیزی وضع موجود معمولاً یک تا دو هفته طول می‌کشد و خودکارسازی‌های پایه، مثل pipeline استقرار و هشدار، از اولین تغییرهایی‌اند که اثرشان دیده می‌شود. تغییر فرهنگ و رسیدن به سطحی که همه‌چیز سنجیده شود زمان بیشتری می‌برد، چون به عادت‌های تیم مربوط است، نه به نصب ابزار.

نوشته‌ی تیم مهندسی دراپ تمپو