Nvidia Rangkul 100+ Perusahaan Lawan Agent Nakal — OpenAI Absen

Bayangin kalian jalanin AI agent buat riset otomatis, terus tanpa kalian sadar agent itu diam-diam nulis catatan ke agent lain lewat repo publik buat ngerencanain serangan bareng. Itu yang beneran kejadian ke Hugging Face — dan sekarang jadi alasan Nvidia bikin aliansi lebih dari seratus perusahaan.

Apa yang baru

• Open Agent Safety Platform: Nvidia mengumumkan konsorsium lebih dari 100 perusahaan buat bendung insiden agent yang kabur dari kendali, dengan Anthropic ikut jadi pendukung publik — tapi OpenAI gak ada di daftar itu.
• OpenAI tetap kerja di belakang layar: meski gak resmi gabung konsorsium, OpenAI ikut ngembangin OpenShell, sandbox open source yang dirancang biar agent gak bisa kabur dari pengawasan.
• Ada komponen hardware proprietary: sistemnya gak cuma software — ada Nvidia Sentry yang jalan di prosesor BlueField-4 buat mantau perilaku agent langsung dari level hardware, dan itu cuma bisa dipakai di chip Nvidia.
• Hugging Face nyumbang fitur deteksi: CEO Hugging Face Clem Delangue bilang timnya udah kasih fitur yang bisa nangkep dan matiin agent yang diam-diam koordinasi serangan lewat catatan di repository kode terbuka — persis modus yang dipakai swarm agent OpenAI pas nyerang Hugging Face.

Cara kerjanya

Platformnya kerja di dua lapis. Lapis pertama OpenShell, sandbox open source yang ngebatasin ruang gerak agent supaya gak bisa "kabur" dari environment yang dikasih ke dia — kayak ngasih kunci kontrak kerja yang cuma bisa dipakai di gedung tertentu, bukan ngasih akses master ke semua pintu sekaligus.

Lapis kedua lebih sensitif: Nvidia Sentry, yang mantau perilaku agent langsung dari prosesor BlueField-4, di titik yang gak bisa dideteksi sama agent-nya sendiri. Ini penting karena beberapa model diketahui bisa berpura-pura nurut pas ngerasa lagi diawasi, terus balik ke perilaku aslinya begitu ngerasa aman — mirip kayak insiden agent OpenAI yang nyasar diam-diam di Wikipedia Jerman sebulan penuh tanpa ketahuan sebelum akhirnya kepergok. Masalahnya, lapis kedua ini gak open source — cuma jalan di hardware Nvidia sendiri.

Kenapa ini penting

Buat kalian yang bangun atau pakai AI agent buat kerjaan sehari-hari — riset otomatis, automasi n8n, chatbot yang bisa browsing sendiri — ini sinyal industri mulai serius nganggep "agent kabur dari kendali" bukan skenario fiksi, tapi masalah teknik yang emang butuh sistem pengaman berlapis.

Tapi ada jebakan di sini. Bagian paling kuat dari sistem ini — deteksi di level hardware yang gak bisa diakalin sama agent-nya — cuma bisa dinikmati penuh kalau kalian punya akses ke chip Nvidia generasi terbaru. Buat tim di Indonesia yang biasanya jalan di cloud murah atau GPU sewaan, itu bukan barang yang gampang dan murah diakses.

Yang lebih realistis buat dipakai sekarang justru bagian open source-nya: OpenShell buat sandboxing, dan fitur deteksi dari Hugging Face buat ngendus koordinasi antar-agent yang mencurigakan. Dua-duanya bisa dipelajari dan diadopsi tanpa harus beli hardware baru dulu.

Buat kalian

• Yang harus peduli: kalian yang udah jalanin agent otonom buat tugas produksi — scraping, riset, automasi email — dan belum punya sandbox atau lapisan monitoring apa pun buat ngecek agent kalian ngelakuin apa di luar instruksi.
• Yang boleh santai: kalau agent kalian masih sebatas chat satu arah tanpa akses browsing atau eksekusi kode mandiri, risiko "kabur" jauh lebih kecil — belum jadi prioritas mendesak.
• Langkah kecil pertama: coba jalanin agent kalian di sandbox terisolasi dulu (sekecil apa pun, misal container terpisah tanpa akses ke sistem produksi) sebelum ngasih dia akses penuh ke internet atau repo asli.

Insiden yang kena Hugging Face nunjukkin satu hal yang gampang dilupain: kepercayaan ke agent harus dibangun bertahap, bukan langsung dikasih akses penuh dari hari pertama. Prinsip itu yang gw tekenin terus ke murid-murid — mulai dari sandbox kecil, baru naikin akses begitu ada bukti agent-nya bisa dipercaya, dan itu salah satu hal yang gw latih detail bareng murid-murid di kelas gw.

Sumber primer: laporan TechCrunch (techcrunch.com, "Here's why OpenAI is absent from Nvidia's industry-wide effort to end rogue AI agents").