OpenRouter Batch API: Proses Data Besar, Bayar Setengah Harga

Jam 11 malam kalian masih mantengin script jalan buat nge-label 50 ribu baris data, sementara budget API bulan ini udah tinggal separuh. OpenRouter baru aja kasih jalan keluar buat situasi kayak gitu.

Apa yang baru

• Diskon 50%: Batch API OpenRouter kasih potongan harga setengah — kadang lebih — dari tarif per-token normal, tersedia di lebih dari 70 model.
• Selesai jauh lebih cepat dari dugaan: dari 230 ribu lebih batch yang kelar selama masa beta dua minggu, median waktu penyelesaian cuma 7 menit, dan 90% selesai dalam 1 jam meski jendela yang dijanjikan 24 jam.
• Jam kirim lebih ngaruh daripada jumlah request: batch yang disubmit jam 5 pagi sampai siang waktu Pasifik jauh lebih lambat — batch besar di jam itu bisa nunggu 2 sampai 4,5 jam, sementara kirim setelah jam 6 sore biasanya kelar di bawah 50 menit.
• Format kerja fleksibel: mendukung chat completions, responses, messages, dan embeddings; hasil disimpan 30 hari, dan tiap baris request diproses independen jadi satu error gak bikin seluruh batch gagal.

Cara kerjanya

Bayangin kayak nitip cucian ke laundry kiloan malam hari — kalian gak nunggu di tempat, tinggal drop, dan besok pagi ambil yang udah rapi terlipat. Batch API kerja mirip itu: kalian kirim satu daftar request ke endpoint /api/v1/batches, tentuin bentuknya (chat completions, embeddings, dll), lalu tinggal polling status sampai statusnya completed.

Begitu selesai, semua hasil balik sekaligus dalam satu response, lengkap dengan custom_id masing-masing baris biar gampang dicocokin ke data asal. Gak ada antrian manual, gak ada nunggu di depan layar nungguin satu-satu request kelar.

Kenapa ini penting

Buat yang kerjaannya nge-scoring eval set, backfill embedding, atau ngerangkum ribuan tiket support, biaya API real-time sering jadi pengereman utama — bukan karena modelnya kurang bagus, tapi karena tagihan per-token nambah cepat kalau volumenya gede. Diskon 50% plus waktu tunggu yang ternyata cuma hitungan menit bikin kalkulasi biaya berubah total buat kerjaan jenis ini.

Ini juga cocok buat kalian yang udah biasa atur banyak model lewat satu pengaturan OpenRouter — kalau kalian pernah nyusun preset config buat gonta-ganti model tanpa ubah kode, Batch API tinggal nambah satu opsi lagi di alur kerja yang sama: submit malam, cek hasil pagi, biaya turun separuh.

Yang perlu diinget: bukan semua jenis request bisa dibatch — gambar dan file harus berupa URL publik, dan fitur audio, video, sama web search plugin OpenRouter belum didukung di jalur ini.

Buat kalian

• Yang harus peduli: kalian yang rutin ngolah data dalam jumlah besar — labeling corpus, scoring eval, backfill embedding — dan selama ini nahan diri karena tagihan API real-time kemahalan buat kerjaan yang sebenarnya gak butuh jawaban instan.
• Yang boleh santai: kalau kerjaan kalian butuh respons instan (chatbot, asisten interaktif), Batch API bukan buat kalian — ini murni buat beban kerja yang toleran nunggu.
• Langkah kecil pertama: ambil satu tugas backlog yang selama ini numpuk — misalnya rangkum 500 tiket lama atau kasih skor ke dataset eval — kumpulin jadi satu file request, submit lewat /api/v1/batches di luar jam 5 pagi sampai siang waktu Pasifik, dan cek hasilnya beberapa jam kemudian.

Diskon dan kecepatan itu cuma permukaan; hal yang lebih penting adalah memisahkan kerjaan mana yang butuh jawaban instan dan mana yang boleh nunggu — begitu kalian mulai mikir gitu, ongkos AI di tim kalian jadi jauh lebih terkontrol. Prinsip milah-milah beban kerja kayak gini yang gw latih bareng murid-murid di kelas gw.

Sumber primer: pengumuman resmi OpenRouter (openrouter.ai/blog/announcements/batch-api/).