Satya Nadella Desak Rem Darurat untuk Kendalikan Risiko AI

CEO Microsoft Satya Nadella mendorong penerapan mekanisme penghentian darurat yang sepenuhnya berada di bawah kendali manusia untuk mengantisipasi risiko kecerdasan buatan (AI) yang lepas kendali. Dalam unggahan di platform X yang dikutip Detik iNET pada Senin (12/10/2026), ia menekankan pentingnya sistem AI yang transparan, dapat diawasi, dan bisa dihentikan ketika menimbulkan risiko. Nadella juga meminta pengembang membangun sistem yang memungkinkan manusia mengendalikan model AI serta memeriksa bukti aktivitasnya.

Menurut dia, pengawasan tidak cukup hanya mengandalkan kepercayaan terhadap rekomendasi atau tindakan yang dihasilkan teknologi tersebut. Dalam penjelasannya, Nadella mengusulkan agar pengembang memperlakukan model AI sebagai sistem yang berpotensi telah disusupi sejak awal penerapan. Pendekatan tersebut dimaksudkan untuk memastikan mekanisme pembatasan sudah tersedia sebelum masalah muncul.

"Kita harus berasumsi bahwa suatu model sudah disusupi dan mengurungnya sejak awal. Anggap saja seperti rem darurat," tulis Nadella dalam unggahannya di X.

Ia juga menyoroti perlunya kewenangan manusia untuk menghentikan sistem yang sedang menjalankan tugas, terutama ketika kemampuan model semakin canggih. Menurut Nadella, teknologi pengamanan untuk model tingkat lanjut perlu dikembangkan dengan standar yang seragam. "Orang yang berwenang harus selalu dapat menghentikan sementara atau mematikan model di tengah tugas. Model yang lebih canggih akan membutuhkan teknologi penahanan yang perlu distandardisasi," sambung Nadella.

Selain mekanisme penghentian, Nadella mengusulkan pengujian sistem secara berkelanjutan, pengawasan dan audit independen, pembatasan operasional, serta pelaporan insiden secara tepat waktu. Langkah-langkah tersebut menjadi bagian dari pendekatan pengamanan yang ia dorong untuk sistem AI berkemampuan tinggi. Dalam membahas pengembangan kecerdasan buatan yang sangat canggih, Nadella menekankan bahwa kepercayaan semata tidak cukup menjadi dasar keselamatan. Ia menggunakan istilah Super Intelligence untuk merujuk pada sistem dengan kemampuan kecerdasan yang sangat tinggi.

"Sistem Super Intelligence yang paling dapat dipercayai bukanlah model yang paling kita percayai," tulis Nadella. Peringatan Nadella muncul di tengah kekhawatiran sejumlah tokoh teknologi mengenai kesiapan protokol keselamatan AI. Pendiri Microsoft Bill Gates, CEO Anthropic Dario Amodei, CEO OpenAI Sam Altman, dan CEO SpaceXAI Elon Musk sebelumnya juga memperingatkan bahwa perlindungan terhadap risiko AI belum memadai ketika teknologi berkembang dengan cepat.

Bulan sebelumnya, seorang peneliti AI mengundurkan diri dari Anthropic dan menuduh perusahaan tersebut serta pesaingnya, OpenAI, mempertaruhkan masa depan umat manusia. Pada hari yang sama, seorang peneliti keselamatan AI di Anthropic menyatakan bahwa kemungkinan teknologi tersebut memusnahkan seluruh umat manusia dalam dekade berikutnya melebihi 10 persen.

Di sisi lain, Presiden Amerika Serikat Donald Trump berulang kali menolak prediksi bahwa AI dapat memicu kepunahan manusia. Trump juga berpendapat bahwa regulasi berlebihan akan memperlambat pengembangan teknologi dan membuat Amerika Serikat tertinggal dari China.