Cara Pasang Gerbang Eval LLM di CI Biar Pull Request Nggak Lolos Kalau Agent Kalian Ngaco
Panduan pasang quality gate di GitHub Actions pakai OpenRouter — eval set tetap, script penilai, dan threshold yang bikin PR gagal merge kalau prompt agent kalian berubah jadi salah jawab.
Bayangin ada yang ubah satu baris di system prompt support bot kalian, lalu bot itu bilang ke customer masa refund-nya 30 hari — padahal kebijakan kalian cuma 14 hari. CI pipeline biasa nggak pernah ngecek apa yang diomongin model, jadi build tetap hijau, dan orang pertama yang nyadar salahnya adalah customer itu sendiri. Tutorial ini bikin pull request kalian nggak bisa merge kalau agent-nya mulai ngaco, persis kayak logic yang nahan merge waktu ada unit test gagal, dijelasin OpenRouter di panduan aslinya.
Yang kalian butuhkan
| Apa | Buat apa | Biaya |
|---|---|---|
OpenRouter API key (OPENROUTER_API_KEY) | Manggil model buat jalanin eval | Gratis daftar, bayar per-request sesuai model |
| Node.js 20+ | Jalanin script penilai | Gratis |
jq | Parsing output JSON di terminal | Gratis |
| Repo GitHub dengan GitHub Actions aktif | Tempat workflow jalan | Gratis untuk repo publik, ada kuota menit di repo privat |
Waktu: sekitar 1 jam 10 menit buat setup lengkap sampai gate-nya jalan di PR pertama.
Peta perjalanannya
TAHAP 1 Siapin eval set tetap (15 menit)
TAHAP 2 Tulis script penilai (20 menit)
TAHAP 3 Atur workflow biar selektif (20 menit)
TAHAP 4 Ukur threshold & jadiin gate (15 menit)
Total: ~1 jam 10 menitLanjut membaca
Tutorial Praktis
Cara Tes Akurasi Tool-Calling Agent AI Kalian Tanpa Infrastruktur Khusus (Biar Nggak Salah Pilih Fungsi)
2 Okt 20267 min read
Tutorial Praktis
Cara Pakai Guided Vision di Gemini Buat Baca Tulisan Kecil dan Kenali Barang Sekitar Kalian
2 Okt 20265 min read
Tutorial Praktis
Cara Pasang Jev di TypeScript buat Moderasi Listing Marketplace (Publish, Hold, atau Reject Otomatis)
28 Sep 20267 min read
Belajar build sistem AI yang bekerja buat kalian
Lihat akademi