BRIN Dorong AI Safety Institute untuk Uji Agentic AI

BRIN mendorong pembentukan AI Safety Institute di Indonesia untuk menguji dan mengawasi sistem kecerdasan buatan otonom sebelum diterapkan luas. Usulan ini disampaikan Marsudi Wahyu Kisworo pada Rabu, 23 September 2026, di Auditorium Sumitro Djojohadikusumo, Jakarta, menyusul munculnya agentic AI yang mampu merancang dan mengeksekusi rangkaian tindakan dengan intervensi manusia terbatas.

Mengapa institusi pengujian diperlukan?

Marsudi menjelaskan perkembangan AI tidak lagi sekadar menjawab atau memberi rekomendasi. Kini teknologi dapat diberi tujuan, mengakses ekosistem perangkat lain, menentukan langkah, dan menjalankan tugas secara aktif.

"AI yang tadinya pasif akan menjadi AI yang aktif. AI tidak lagi sebatas menjawab pertanyaan, tetapi sudah bisa mengeksekusi dan melakukan aksi,"

Perkembangan ini membuka peluang besar di sektor kesehatan, pertanian, pendidikan, transportasi, layanan sosial, dan infrastruktur. Namun, ia memperingatkan munculnya risiko keselamatan, keamanan, bias, serta kerentanan terhadap serangan siber.

Fungsi AI Safety Institute

Badan ini diusulkan berperan sebagai lembaga penguji independen yang melakukan audit dan menyediakan ruang uji terisolasi atau regulatory sandbox. Tujuannya mengevaluasi sistem AI sebelum diberi kewenangan mengeksekusi keputusan berdampak luas pada publik.

"Lembaga ini bukan untuk menambah birokrasi, melainkan bertindak sebagai benteng penguji, melakukan audit independen, serta menyediakan ruang uji terisolasi atau regulatory sandbox,"

Institusi semacam ini juga dimaksudkan untuk menetapkan standar keselamatan dan kejelasan tanggung jawab hukum bagi pengembang dan pengguna teknologi.

Aspek yang perlu diuji

Marsudi mengusulkan tujuh aspek utama yang wajib diuji sebelum sistem AI diberi kewenangan eksekusi:

• Potensi bias dan diskriminatif
• Transparansi dasar pengambilan keputusan
• Perlindungan data pribadi
• Tingkat kontrol dan intervensi manusia
• Mekanisme penghentian sistem (kill switch)
• Kejelasan subjek hukum yang bertanggung jawab
• Ketahanan infrastruktur terhadap peretasan

Pengujian ini dianggap krusial terutama saat AI digunakan untuk keputusan sosial langsung, seperti penentuan kelayakan bantuan sosial, akses fasilitas kesehatan, pemberian kredit, dan pengelolaan pendidikan.

Kendali manusia dan penegakan hukum

Marsudi menegaskan prinsip bahwa manusia harus tetap memegang kendali atas keputusan akhir. AI boleh menghitung dan merekomendasikan, tetapi keputusan dan pertanggungjawaban tetap di tangan manusia.

"Sudah saatnya Indonesia mulai memikirkan aspek-aspek keselamatan AI ini bergeser dari sebatas imbauan etika menjadi kewajiban hukum yang mengikat dalam koridor governance, risk, and compliance,"

Perubahan dari imbauan etika ke ketentuan hukum dimaksudkan bukan untuk menghambat inovasi, melainkan memastikan batas keselamatan dan kejelasan tanggung jawab seiring meningkatnya kemampuan sistem AI.

Penguatan kapasitas nasional

Marsudi juga mendorong pengembangan kapasitas riset dan komputasi regional, termasuk peran Organisasi Riset Elektronika dan Informatika (OREI) BRIN. Ia menekankan pentingnya model AI yang mempertimbangkan data, budaya, dan kondisi Indonesia, serta pusat komputasi kognitif nasional untuk memperkuat posisi negosiasi dengan penyedia teknologi global.

Menurutnya, kedaulatan digital tidak berarti harus mengembangkan semuanya secara mandiri, tetapi perlu kapasitas strategis agar tidak sepenuhnya bergantung pada teknologi luar negeri.

Jika terealisasi, AI Safety Institute diharapkan menjadi fondasi pengawasan yang menjaga keselamatan publik sekaligus mendorong pemanfaatan AI yang bertanggung jawab di Indonesia.