All Posts

Production Readiness Bukan Checklist: Catatan dari Seminggu Hardening

15 November 202612 menit

Di lapisan operasional, minggu itu saya tidak menambah satu fitur pun. Pull request terbesar isinya 68 file, dan hampir semuanya tentang hal yang tidak muncul di demo: log, batas query, role database, checksum backup, dan urutan rollback.

Aplikasinya kecil. FastAPI di backend, Next.js di frontend, PostgreSQL, dan seluruh stack berjalan di Docker Compose di satu VPS di belakang Caddy. Penggunanya juga belum banyak. Tapi datanya bukan data mainan, dan itu cukup untuk membuat saya berhenti menganggap "sudah jalan di lokal" sebagai bukti.

Di awal minggu saya menulis satu pertanyaan di catatan: kalau aplikasi ini mati jam dua pagi, apa yang saya lakukan?

Checklist saya bisa menjawab sebagian. Sudah pakai Docker. Sudah ada CI. Sudah ada monitoring. Tapi tidak ada satu item pun yang menjawab pertanyaan tadi. Di situ bedanya antara checklist dan production readiness mulai kelihatan. Checklist memberi tahu apa yang sudah ada; kesiapan produksi membuktikan apa yang masih bekerja saat ada yang gagal.

Checklist yang hijau, dan pertanyaan yang tidak terjawab

Saya masih memakai checklist. Bukan karena malas berpikir, tapi karena daftar membuat saya tidak lupa memeriksa area yang jarang disentuh. Masalahnya, checklist berhenti di "sudah ada". Dia tidak tahu apakah yang "sudah ada" itu benar-benar bekerja.

Contohnya sederhana. Docker ada. CI ada. HTTPS ada. Monitoring ada. Script backup ada. Semua hijau. Lalu saya ajukan pertanyaan yang lebih tidak nyaman:

  • Kalau besok saya harus deploy dari mesin yang belum pernah menyentuh proyek ini, apakah saya bisa?
  • Kalau rilis ini merusak sesuatu, apakah saya bisa kembali tanpa menyentuh database?
  • Kalau satu request gagal, apakah saya bisa menemukan request itu di log dan metrik?
  • Kalau VPS ini hilang, apakah backup saya masih ada?
  • Kalau ada yang salah mengisi konfigurasi, apakah aplikasi tetap mau menyala?

Lima pertanyaan itu tidak ada di checklist. Atau lebih tepatnya, jawabannya tidak bisa diwakili oleh centang.

Production readiness, versi yang saya pakai: aplikasi bisa di-deploy ulang, diamati, dipulihkan, dan dibatalkan tanpa mengandalkan ingatan satu orang.

Kalimat itu yang saya pakai sebagai filter minggu itu. Setiap pekerjaan harus menjawab salah satu bagiannya. Kalau tidak, pekerjaan itu mungkin penting, tapi bukan bagian dari kesiapan produksi.

Baseline dulu, tool kemudian

Sebelum menyentuh infrastruktur, saya ukur dulu kondisi awalnya. Bukan karena suka angka, tapi karena tanpa baseline, hardening cuma aktivitas yang terasa sibuk. Tidak ada cara tahu apakah ada yang membaik.

Baseline 8 November mencatat 130 tes backend lulus, coverage 76%, 52 tes frontend di 5 file, dan 21 error pyright. Angka-angka itu tidak bagus, terutama coverage frontend yang masih 42% di src/lib dan pyright yang belum bersih. Tapi justru itu gunanya baseline: dia memotret kondisi apa adanya, bukan kondisi yang saya ingin dilihat orang.

Keputusan pyright saya catat eksplisit: 21 error itu belum dijadikan gate. Bukan karena tidak penting, tapi karena memperbaikinya di tengah minggu hardening akan mencampur dua pekerjaan. Yang saya lakukan adalah menuliskan utangnya, mencatat modul yang paling banyak menyumbang error, dan menyimpan rencana menjadikannya blocking di gate akhir. Checklist biasa akan memaksa saya memilih antara hijau palsu atau merah total. Baseline memberi pilihan ketiga: catat, ukur, lalu kerjakan dengan urutan yang jelas.

Baseline juga membantu saya menghindari jebakan "coverage naik berarti kualitas naik". Coverage 76% tidak memberi tahu apakah test-nya menguji perilaku yang penting. Yang dia beri tahu: ada 24% statement yang belum pernah disentuh. Itu informasi yang berguna, tapi bukan ijazah.

Kenapa jumlah query, bukan milidetik

Untuk performa, saya memakai jumlah query sebagai pembanding utama. Waktu eksekusi terlalu bergantung pada mesin, cache, dan suhu laptop. Jumlah query lebih stabil, lebih mudah direproduksi, dan lebih jujur soal apa yang sebenarnya dikerjakan aplikasi.

Baseline query-nya seperti ini:

EndpointQueryYang tersembunyi
Dashboard10Setiap bagian dashboard menjalankan query sendiri
Antrean21Biaya terbesar; lima tahap
Daftar order5—
Daftar bahan4—
Laporan produksi7Ringkasan, harian, tahap, dan log diambil terpisah
Export CSV3Seluruh baris dimuat ke memori sebelum CSV dibentuk

Angka-angka itu yang membuat prioritas jadi jelas. Bukan "aplikasi terasa lambat", tapi "antrean menghabiskan 21 query untuk lima tahap". Bukan "dashboard berat", tapi "setiap bagian dashboard punya query sendiri".

Query yang dibatasi, bukan cuma dipercepat

Perubahan pertama bukan menambah cache atau mengganti ORM. Yang saya lakukan lebih membosankan: membatasi data yang boleh dipindai.

Query on-time delivery di dashboard sekarang memfilter completed_at di SQL dengan batas hari WIB, bukan mengambil semua order selesai lalu memfilter di Python. Urutan stok kritis beserta limitnya juga dikerjakan di database. Enam index ditambahkan untuk mempercepat filter yang paling sering dipakai. Semuanya dibuat dengan CONCURRENTLY supaya tidak mengunci tabel saat migrasi.

Di lapisan HTTP, saya menambahkan gzip, request ID, JSON request log, dan peringatan slow query. Perubahannya kecil, tapi efeknya besar saat ada yang bertanya "request ini lambat di bagian mana?"

Di dashboard, angka baseline mencatat sepuluh query. Perubahan yang saya lakukan bukan terutama menurunkan jumlah itu; yang saya batasi adalah data yang dipindai. Query on-time delivery yang sama dulu bisa menyentuh seluruh riwayat, sekarang berhenti di 30 hari. Ini pelajaran yang saya baru sadar minggu itu: jumlah query dan biaya query bukan hal yang sama.

Jumlah query bisa menipu

Lihat lagi tabel di atas. Export CSV cuma tiga query, tapi dia memuat seluruh hasil filter ke memori sebelum CSV dibentuk. Di dataset kecil, angkanya terlihat bagus. Di dataset besar, tiga query itu bisa jauh lebih mahal daripada 21 query antrean.

Sebaliknya, antrean punya 21 query tapi setiap query dibatasi per tahap. Biayanya lebih mudah diprediksi.

Karena itu saya tidak lagi memakai query count sebagai satu-satunya target. Yang saya pakai sekarang: jumlah query, jumlah baris yang dipindai, dan perilaku memori. Tiga-tiganya harus dilihat bersama. Kalau cuma salah satu, angka bisa jadi pengalih perhatian yang rapi.

Keamanan yang menolak menyala

Bagian keamanan minggu itu dimulai dari satu prinsip: konfigurasi produksi yang tidak aman harus gagal di awal, bukan diam-diam jalan.

Bentuknya sederhana. Kalau COOKIE_SECURE masih false di produksi, proses berhenti. Kalau PUBLIC_ORIGIN kosong, berhenti. Kalau CORS_ORIGINS masih berisi origin lokal, berhenti. Kalau secret masih placeholder atau terlalu pendek, berhenti. Bukan peringatan di log, bukan banner kuning di dashboard. Berhenti.

Refusing to start: COOKIE_SECURE must be true in production
Refusing to start: CORS_ORIGINS must be empty in production
Refusing to start: JWT_SECRET is missing or too weak

Awalnya terasa menyebalkan, terutama saat pertama kali mencoba menyalakannya dengan konfigurasi lama. Tapi justru itu yang membuat saya tenang. Kesalahan konfigurasi ketemu di detik pertama, bukan setelah cookie sesi dikirim lewat HTTP atau setelah origin lokal diterima di produksi.

Dokumentasi API juga dimatikan di produksi. /docs, /redoc, dan /openapi.json tidak perlu terbuka untuk aplikasi internal. Endpoint metrik juga diblokir di edge dan tetap butuh bearer token, jadi tidak cukup hanya tahu URL-nya.

Database memakai tiga role: owner untuk migrasi, app untuk runtime, dan backup untuk dump. Runtime tidak punya hak DDL. Kalau ada kerentanan di aplikasi, dampaknya tidak otomatis menjadi hak mengubah skema. Secret disuntikkan saat runtime dari file yang tidak masuk repositori, permission-nya 600, dan image tidak pernah memuat .env.

Untuk login, pembatasnya identity-aware. Lima kegagalan dalam 15 menit per email, dua puluh kegagalan dalam 15 menit per IP, lalu blokir 15 menit. Responsnya generik dan menyertakan Retry-After, jadi penyerang tidak bisa membedakan email yang terdaftar dari yang tidak. Kunci rate limit disimpan sebagai HMAC-SHA256, supaya tabel operasional tidak menyimpan email atau IP mentah.

Kenapa per email dulu, bukan per IP? Karena serangan yang paling sering adalah credential stuffing per akun. Kalau hanya per IP, satu kantor dengan NAT bisa memblokir semua orang karena satu pengguna salah password. Karena itu ada pembatas IP sebagai lapisan kedua, plus jalur unlock untuk kasus yang jelas salah blokir.

Rate limit-nya disimpan di PostgreSQL, bukan Redis. Untuk satu VPS dengan trafik kecil, menambah Redis hanya untuk rate limit berarti menambah satu layanan yang harus dijaga, di-backup, dan dipantau. Implementasinya bisa diganti nanti tanpa mengubah route auth. Ini keputusan yang terasa kurang "modern", tapi sesuai dengan skala masalahnya.

Saya pernah menulis insiden yang membuat saya berhenti menyimpan token panjang. Pelajaran dari situ sederhana: kredensial yang tidak perlu ada di disk sebaiknya memang tidak ada. Prinsip yang sama saya bawa ke konfigurasi produksi. Kontrol keamanan yang bergantung pada ingatan seseorang bukan kontrol. Kontrol adalah default yang menolak boot kalau ada yang salah.

Satu request, satu jejak

Setelah pintu masuk dijaga, pertanyaan berikutnya: kalau ada yang masuk dan gagal, apakah saya bisa melihat jejaknya?

Satu middleware menghasilkan satu RequestContext untuk setiap request. Isinya request_id, method, path, route_template, status, dan durasi. Log ditulis sebagai JSON, dan request_id yang sama dipakai di log maupun metrik.

{"request_id":"01J8Z...","method":"GET","route":"/api/orders/{id}","status":500,"duration_ms":184}

route_template dipakai dengan sengaja. Kalau label metrik memakai path mentah, setiap ID order akan menjadi label baru, dan jumlah time series bisa meledak. Dengan template, /api/orders/123 dan /api/orders/456 masuk ke label yang sama. URL yang tidak dikenal dipetakan ke <unmatched>, bukan dibiarkan menjadi ribuan label acak.

Efek sampingnya terasa saat debugging. Kalau ada laporan "tombol simpan gagal", saya bisa mencari request_id yang sama di log dan metrik, bukan menebak dari timestamp. Satu request, satu jejak. Tidak selalu cukup untuk menemukan akar masalah, tapi cukup untuk tahu harus mulai dari mana.

Liveness dan readiness itu beda

Ada dua health check, dan bedanya penting saat deploy. /api/health/live menjawab "proses masih hidup". /api/health/ready menjawab "dependensi sudah siap". Yang pertama berguna untuk restart otomatis; yang kedua berguna untuk memutuskan apakah trafik boleh masuk.

Saya sempat menganggap dua endpoint itu berlebihan. Sampai saya sadar bahwa aplikasi bisa hidup tapi belum siap: proses sudah jalan, tapi database belum bisa dijangkau atau migrasi belum selesai. Tanpa readiness, trafik bisa masuk sebelum database siap, dan satu-satunya cara tahu adalah dari error yang muncul setelahnya.

Metrik di-scrape setiap 15 detik dengan retensi 15 hari. Pool database ikut dipantau, karena kehabisan koneksi sering muncul sebagai error yang terlihat seperti bug aplikasi. Alert-nya tidak banyak: 5xx di atas 2% selama 5 menit, p95 di atas 2 detik selama 10 menit, lonjakan blokir login, dan backup yang basi lebih dari 26 jam.

Grafana hanya mendengarkan di localhost, dan Prometheus berada di jaringan internal. Ini bukan pengaturan yang cocok untuk tim besar, tapi untuk satu VPS dengan pengguna terbatas, ini cukup. Yang penting bukan dashboard-nya, tapi kontraknya: satu request bisa dilacak dari log ke metrik dengan ID yang sama.

Di tulisan lain saya pernah bilang observability bukan pelengkap. Minggu itu kalimatnya jadi lebih konkret. Observability bukan grafik yang bagus; dia adalah kemampuan menjawab pertanyaan "apa yang terjadi" tanpa menebak.

Deploy yang bisa diulang, rollback yang bisa diukur

Sampai bagian ini, semuanya masih soal melihat dan mencegah. Deploy dan rollback soal bergerak.

Image backend dan frontend dibangun sekali di CI, dipindai Trivy di level HIGH dan CRITICAL, lalu didorong ke GHCR dengan tag semver, tag sha-<commit>, SBOM, dan provenance. Deploy memakai digest, bukan latest. Artinya artefak yang diuji sama dengan artefak yang dipromosikan. Server tidak pernah menjalankan docker build; kalau ada yang perlu diubah, image baru dibangun dan dipromosikan.

Migrasi dijalankan sebagai container one-shot dengan role owner, sebelum aplikasi baru naik. Runtime memakai role app. Skema mengikuti expand-contract, jadi image lama masih bisa berjalan dengan skema baru selama satu jendela rilis. Migrasi berat memakai CONCURRENTLY dan tidak mengunci tabel utama.

Urutan deploy-nya: backup, pull, migrate, rollout, smoke test, lalu observasi 15 menit. Target yang saya tulis di dokumen: di bawah 10 menit untuk deploy dan di bawah 5 menit untuk rollback. Angka itu belum saya klaim sebagai hasil stopwatch. Yang sudah saya buktikan minggu itu adalah konfigurasi Compose dan Caddy bisa divalidasi, backup bisa diambil, dan restore-nya lulus drill. Prosedur deploy-nya sendiri masih menunggu rilis berikutnya untuk diuji dari awal sampai akhir.

Rollback bukan alembic downgrade

Ini keputusan yang saya anggap paling penting minggu itu. Rollback utama bukan menjalankan alembic downgrade, tapi mengembalikan image ke digest sebelumnya.

export APP_IMAGE="ghcr.io/<registry>/backend@sha256:<digest>"
docker compose pull backend frontend
docker compose up -d backend frontend
curl --fail https://<domain>/api/health/ready

Alasannya sederhana: downgrade migrasi bisa merusak data, dan jalur pemulihannya jauh lebih mahal daripada mengganti image. Dengan expand-contract, image lama tetap kompatibel dengan skema baru. Kalau migrasi ternyata merusak data, restore dilakukan ke staging dulu, bukan langsung menimpa produksi.

Deploy-nya masih manual. Itu keputusan, bukan kelalaian. Untuk aplikasi satu operator, prosedur manual yang dicatat, punya smoke test, dan bisa dijalankan ulang lebih mudah di-debug daripada pipeline yang tidak saya pahami. Tapi manual berarti harus ada urutan, batas waktu, dan latihan. Kalau manual cuma mengandalkan ingatan, itu bukan prosedur; itu tebakan.

Rollback adalah keputusan produk, bukan perintah database. Yang saya butuhkan saat rilis bermasalah bukan "apakah saya bisa membalik migrasi", tapi "apakah saya bisa mengembalikan layanan ke kondisi sebelumnya tanpa kehilangan data". Dua pertanyaan itu terlihat mirip, tapi jawabannya berbeda.

Backup yang belum pernah di-restore bukan backup

Backup adalah bagian yang paling mudah dibuat terlihat beres. Tinggal pasang cron, lihat file .dump muncul, lalu centang. Saya sudah pernah di posisi itu, dan sekarang saya tidak percaya pada file yang belum pernah dibuka.

Script backup menjalankan pg_dump format custom, menghitung checksum SHA-256, menyimpan retensi 7 harian dan 4 mingguan, lalu menulis metrik ke textfile. Prometheus membaca metrik itu lewat node-exporter. Kalau backup terakhir lebih dari 26 jam, alert menyala. Checksum bukan hiasan: dia memastikan dump yang di-restore adalah file yang sama dengan yang dibuat, bukan hasil copy yang terpotong.

Tapi bagian yang penting bukan dump-nya. Bagian yang penting adalah verify_restore.sh. Script itu membuat database scratch, me-restore dump ke sana, memeriksa tabel inti dan versi migrasi, lalu menghapus scratch. Kalau restore gagal, drill-nya gagal. Latihan ini berjalan di CI, dan dijadwalkan ulang setiap bulan.

./scripts/verify_restore.sh /backups/<dump>.dump
# buat database scratch, restore, cek tabel + versi migrasi

Restore ke produksi butuh flag darurat yang eksplisit. Untuk menguji migrasi, saya me-restore dump produksi ke Compose lokal, bukan ke VPS staging terpisah. Tidak ada staging VPS, dan itu batas yang saya terima.

Backup lokal bukan backup off-site

Backup ini masih disimpan di VPS yang sama. Artinya dia melindungi dari salah SQL, migrasi gagal, dan bug data, tapi tidak melindungi dari VPS yang hilang. Selama data masih pilot, risiko itu saya terima dan saya catat. Sebelum data produksi nyata masuk, salinan off-host menjadi gate wajib.

Target RPO/RTO-nya 24 jam / 2 jam selama VPS tersedia. Angka itu bukan jaminan; dia target yang memberi tahu seberapa cepat saya harus bisa pulih. Backup adalah hipotesis. Restore adalah eksperimen yang membuktikannya.

Lima pertanyaan, bukan lima puluh checkbox

Setelah seminggu, checklist saya menyusut jadi lima pertanyaan. Bukan karena sisanya tidak penting, tapi karena lima ini yang punya bukti.

PertanyaanBukti yang saya terimaKalau jawabannya tidak
Bisa deploy ulang besok dari mesin bersih dalam sepuluh menit?Urutan perintah, smoke test, catatan waktuBelum siap; jangan tambah fitur dulu
Bisa rollback tanpa menyentuh database dalam lima menit?Digest sebelumnya, health check, catatan waktuRollback masih hipotesis
Bisa lacak satu request yang gagal sampai ke log dan metrik?request_id, route template, log, metrikObservability masih dekorasi
Sudah pernah restore backup ini, bukan cuma membuatnya?Scratch DB, jumlah baris, drill CIBackup belum terbukti
Apakah aplikasi menolak start dengan konfigurasi tidak aman?Startup gagal, pesan jelasKeamanan masih bergantung ingatan

Ya, ini masih daftar. Bedanya, setiap item punya bukti, bukan centang. Kalau jawabannya tidak, itu bukan berarti aplikasinya buruk. Itu berarti ada pekerjaan yang belum selesai, dan sekarang saya tahu pekerjaan mana.

Pertanyaan-pertanyaan ini juga bisa dipakai untuk memilih pekerjaan. Kalau sebuah fitur tidak membantu salah satu jawaban, dia bukan prioritas minggu itu. Bukan berarti fitur itu tidak berguna; hanya berarti ada urutan yang lebih masuk akal.

Tool bisa berubah. Docker bisa diganti, Prometheus bisa diganti, Caddy bisa diganti. Pertanyaannya tetap sama: bisa deploy ulang, bisa kembali, bisa melihat, bisa memulihkan, dan bisa menolak konfigurasi yang tidak aman.

Yang belum saya buktikan

Setelah semua itu, masih ada daftar yang belum selesai. Saya lebih suka menuliskannya daripada membiarkan orang mengira minggu itu menghasilkan sistem yang lengkap.

  • Backup masih lokal. Off-host belum ada.
  • Satu VPS, tanpa HA. Kalau host mati, semuanya mati.
  • Monitoring ada di host yang sama. Kalau host mati, monitoring ikut mati. Uptime monitor eksternal masih diperlukan.
  • Belum ada PITR atau WAL archiving. RPO 24 jam adalah batas yang saya terima.
  • Belum ada tracing, Sentry, atau OpenTelemetry. Yang ada baru log dan metrik.
  • CSP nonce belum. Header keamanan sudah, tapi CSP ketat masih pekerjaan berikutnya.
  • Staging masih lokal dari restore dump, bukan VPS terpisah.
  • Utang pyright dari baseline belum selesai, dan coverage frontend masih jauh di bawah backend.

Untuk aplikasi pilot dengan pengguna terbatas, ini cukup. Untuk data produksi nyata, backup off-host adalah gate yang belum saya lewati. Readiness selalu relatif terhadap risiko yang diterima, dan bagian tersulit adalah menuliskannya, bukan menutupinya.

Penutup

Kembali ke pertanyaan jam dua pagi. Sekarang jawabannya membosankan: restore backup kalau data bermasalah, kembalikan digest image sebelumnya kalau rilis bermasalah, jalankan health check, lalu observasi lima belas menit.

Bukan jawaban yang keren. Tapi jawaban yang bisa saya pertanggungjawabkan.

Production readiness bukan badge yang ditempel di README. Dia adalah kumpulan jawaban yang masih berlaku saat ada yang gagal. Checklist membantu saya mengingat apa yang harus diperiksa. Tapi checklist tidak bisa menggantikan bukti bahwa hal itu pernah bekerja.

Kalau kamu sedang menyiapkan aplikasi untuk produksi, atau punya checklist yang belum pernah diuji, kabari saya. Saya lebih tertarik mendengar bagian yang belum beres daripada yang sudah hijau. Kotak masuk email saya selalu terbuka.