Cara Tes Akurasi Tool-Calling Agent AI Kalian Tanpa Infrastruktur Khusus (Biar Nggak Salah Pilih Fungsi)
Panduan bikin test suite buat ngecek apakah agent AI kalian milih tool yang tepat dan ngirim argumen yang bener — pakai LLM judge, schema check, dan trajectory comparison, tanpa perlu tools khusus.
Agent AI yang kalian bangun bisa gagal di dua tempat beda pas manggil tool. Dia bisa milih tool yang salah, atau milih tool yang bener tapi ngirim argumen yang ngaco. Dua kegagalan ini butuh cara ngetes yang beda, dan kebanyakan tim cuma ngecek "ada tool_calls atau nggak" — padahal itu nggak ngasih tau apa-apa soal kualitas pilihannya.
Tutorial ini bawa kalian bikin test suite sederhana buat agent tool-calling, dari pemisahan failure mode sampai jalanin test set yang sama ke beberapa model lewat OpenRouter.
Yang kalian butuhkan
| Apa | Buat apa | Biaya |
|---|---|---|
| Akses API model tool-calling | Generate tool call yang mau dites | Berbayar, bayar per token |
| Set test case bikinan sendiri | Nyimpen skenario user + jawaban yang diharapkan | Gratis |
| Library JSON Schema validator (ajv, jsonschema, dsb) | Ngecek struktur argumen secara otomatis | Gratis, open source |
| Model judge terpisah (opsional) | Nilai kasus yang nggak punya satu jawaban pasti | Berbayar kalau lewat API |
Waktu: sekitar 95 menit buat setup lengkap pertama kali, jalan ulang berikutnya tinggal hitungan menit.
Peta perjalanannya
TAHAP 1 Pisahin dua failure mode tool-calling (15 menit)
TAHAP 2 Bikin test case buat tool selection (20 menit)
TAHAP 3 Validasi struktur & nilai argumen (25 menit)
TAHAP 4 Tes urutan panggilan (trajectory) (20 menit)
Bonus: Jalanin test set yang sama ke beberapa model (15 menit)
Total: ~95 menitLanjut membaca
Tutorial Praktis
Cara Pakai Guided Vision di Gemini Buat Baca Tulisan Kecil dan Kenali Barang Sekitar Kalian
2 Okt 20265 min read
Tutorial Praktis
Cara Pasang Gerbang Eval LLM di CI Biar Pull Request Nggak Lolos Kalau Agent Kalian Ngaco
2 Okt 20267 min read
Tutorial Praktis
Cara Pasang Jev di TypeScript buat Moderasi Listing Marketplace (Publish, Hold, atau Reject Otomatis)
28 Sep 20267 min read
Belajar build sistem AI yang bekerja buat kalian
Lihat akademi