Haruskah Sejarah Kelam Hiroshima dan Nagasaki Berulang pada Era AI?

Peradaban manusia pernah mengalami sejarah kelam akibat perlombaan teknologi, yaitu bom atom yang dijatuhkan di Hiroshima dan Nagasaki. Perlukah sejarah kelam itu terulang dengan kecerdasan buatan?

Dalam beberapa pekan terakhir, dunia kecerdasan buatan atau akal imitasi (AI) bergejolak oleh peringatan bahwa AI dapat memusnahkan manusia pada akhir dekade ini. Apalagi, peringatan disampaikan oleh pemimpin perusahaan AI terbesar di dunia, termasuk CEO Anthropic Dario Amodei dan CEO OpenAI Sam Altman.

Mereka sepakat memperlambat pengembangan AI, bukan menghentikan. Peringatan itu muncul setelah sejumlah agentik AI keluar dari batas yang diberikan manusia dan meretas berbagai situs lain.

”Mungkin harus menunggu sampai AI ini betul-betul membunuh sekian ratus ribu orang. Baru perusahaan-perusahaan itu mau betul-betul berhenti,” kata pengajar Sekolah Tinggi Filsafat Driyarkara, A Setyo Wibowo, SJ, saat dihubungi di Jakarta, Rabu (16/9/2026).

Saat ini, dehumanisasi karena AI sudah terjadi. Kemerosotan nilai-nilai manusia terjadi karena manusia membiarkan dirinya dikendalikan mesin. Mereka semakin jarang menggunakan kemampuan berpikirnya sendiri, dan menggunakan AI. ”Jadi, dehumanisasi sekarang di situ, manusia enggak lagi menggunakan otaknya untuk berpikir,” ujarnya.

Menurut Setyo, dehumanisasi pada tingkat ini masih dapat ditangani. Metode belajar dan ujian dapat diubah agar manusia tetap berpikir dan kreatif.

Namun, jika pengembangan AI terus dibiarkan tanpa batas, AI dapat menjadi semakin otonom dan lepas kendali. Hal ini dapat membuat manusia sebagai korban AI.

”AI yang meretas sana-sini, ini, kan, seram. Tiba-tiba nanti bisa ada senjata nuklir meluncur ke mana, sistem transportasi error, pesawat-pesawat kehilangan kendali, mobil otonom menabraki orang-orang,” katanya.

Menurut Setyo, pengembangan AI kini perlu diperlakukan seperti nuklir. Negara-negara besar harus duduk bersama untuk mengendalikan perlombaan teknologi. Paus Leo XIV juga telah menyerukan pelucutan AI dalam ensiklik Magnifica Humanitas.

Ia melihat perkembangan AI yang tak terkendali mirip era perlombaan senjata nuklir, ketika negara-negara bersaing membuat senjata yang semakin kuat. ”Maka, dulu negara-negara besar akhirnya duduk bersama, terutama Amerika dan Soviet, untuk menghentikan proliferasi nuklir. Nah, sejak itu lalu aman,” ujar Setyo.

Bagi individu, penggunaan AI masih dapat dibatasi agar manusia tetap berpikir dan kreatif. Namun, menghadapi AI yang semakin otonom, menurut Setyo, membutuhkan tindakan negara dan kerja sama internasional. ”Kita bisa apa kalau secara individu di hadapan agentik AI. Itu di luar kendali kita,” katanya.

Peneliti tata kelola AI, Zar Motik Adisuryo, menilai, saat ini sudah terjadi kegagalan institusional dan sosioteknis dalam pengembangan AI. Berbagai insiden pada agen AI menunjukkan belum adanya tata kelola yang memadai.

Ia menilai perusahaan pengembang AI menjadi pihak yang paling bertanggung jawab atas rangkaian peretasan oleh agen AI. Teknologi itu dirancang, diuji, hingga digunakan secara tidak bertanggung jawab.

Zar menolak anggapan bahwa teknologi telah memiliki kehendak sendiri. Menurut dia, berbagai insiden agen AI yang keluar dari batas tersebut tetap muncul dari sistem yang dirancang dan diuji manusia.

”Kalau, misalnya, dibilang AI bisa melakukan hal sendiri, menurut saya, itu sangat tidak betul. Karena ini terjadi tetap di bawah rambu manusia,” katanya.

Kegagalan berlanjut karena tidak ada langkah tata kelola yang jelas ataupun pihak yang bertanggung jawab setelah rangkaian kejadian peretasan.

Masyarakat harus mempunyai suara, negara mempunyai suara dan akademisi juga harus punya suara bagaimana ke depannya.

Saat ini, perusahaan-perusahaan teknologi membuat aturan dan pengawasan terhadap teknologi mereka sendiri. Pemerintah tidak memiliki kuasa atas teknologi tersebut.

Akibatnya, masyarakat semakin bergantung pada perusahaan teknologi untuk menentukan apakah sebuah sistem aman atau tidak. Arah pengembangan AI pun lebih banyak ditentukan oleh perusahaan teknologi.

Kondisi ini disebut Zar sebagai privatisasi tata kelola, yaitu perusahaan teknologi mengatur diri sendiri. Sementara evaluasi perusahaan cenderung sangat teknis. Mereka tidak melihat dari sisi dampaknya terhadap masyarakat.

Menurut Zar, tata kelola AI perlu segera dirumuskan, dari tingkat global hingga tingkat negara. ”Masyarakat harus mempunyai suara, negara mempunyai suara dan akademisi juga harus punya suara bagaimana ke depannya,” katanya.

Tata kelola AI tidak dapat diselesaikan oleh satu negara karena teknologi tersebut digunakan lintas batas. Pada tingkat global, saat ini dibutuhkan standar minimum (baseline) bersama untuk tata kelola AI.

Ia mencontohkan, baseline yang dimaksud mirip seperti standar ISO. Standar perlu dibuat oleh pihak ketiga yang diberi mandat untuk melakukannya. Saat ini, baik baseline maupun lembaga yang diberi mandat secara global belum ada.

Di tingkat negara, sejumlah kawasan telah memiliki regulasi AI sendiri-sendiri, antara lain China, Uni Eropa, dan Inggris. Untuk Indonesia, Zar menilai, saat ini Indonesia masih berada pada tahap sangat awal dalam memahami AI dan risikonya. Bahkan, Indonesia belum memetakan model AI dan bahayanya.

Indonesia dapat memulai dengan memetakan risiko itu dan menyampaikannya ke masyarakat. ”Misalnya ada seruan, silakan pakai model mana saja. Tetapi model OpenAI bahayanya ini lho, guys. Kalau model lama, bahayanya seperti ini,” katanya.

Di sisi lain, kesepakatan para bos perusahaan AI juga perlu diwaspadai mempunyai motif untuk menguntungkan mereka sendiri. Koordinator Analis LAB 45 Christian Guntur Lebang mengatakan, sulit untuk memeriksa kebenaran dari klaim mereka.

Mereka bisa saja sedang menebar ketakutan (fearmongering) dengan menampilkan skenario terburuk dari dampak AI. Alhasil, pemerintah terkesan harus turun tangan.

Menariknya, momen ini terjadi ketika Anthropic dan OpenAI berencana menggelar penawaran umum perdana di bursa saham (IPO). ”Ada upaya yang bernama regulatory capture. Jadi, mereka mendorong regulasi yang menguntungkan kepentingan sendiri, karena aturan tersebut membatasi pesaing baru di dunia AI,” kata Guntur.

Tak hanya itu, sikap para bos AI terlihat paradoks. Mereka sekadar menyuarakan pelambatan, bukan penghentian pengembangan sama sekali. ”Kalau takut, mengapa enggak berhenti saja? Mengapa harus tunggu pemerintah turun tangan?” tuturnya.

Guntur melanjutkan, Presiden AS Donald Trump menolak membuat regulasi karena ia mendapat dukungan dari para mogul teknologi sejak kampanye. Saat itu, ia berjanji untuk melonggarkan aturan dan mendorong inovasi teknologi.

Ditambah lagi, banyak kaum kanan AS yang berambisi untuk memenangi persaingan geopolitik melawan China. ”Ini termasuk politik kekuasaan. Bagi China, mereka sadar tidak bisa menyaingi teknologi AI frontier buatan AS sehingga fokus pada model sumber terbuka yang bisa disesuaikan dengan kepentingan pengguna,” ujarnya.

Bicara tentang regulasi, AS dan China, sebagai negara yang memimpin teknologi AI, sebetulnya sudah punya sejumlah aturan terkait keamanan AI. Di AS, mantan Ketua FTC Lina Khan menegaskan, perusahaan dapat ditindak jika merilis produk berbahaya, cacat, tidak terverifikasi, atau melakukan persaingan tidak sehat.

Guntur tidak yakin apakah Perserikatan Bangsa-Bangsa atau Indonesia bisa mendorong aturan atau tata kelola AI internasional yang jelas seperti nuklir. Pengaturan senjata nuklir baru terjadi setelah bom atom dijatuhkan di Hiroshima dan Nagasaki pada 1945.

Negara sekutu AS, seperti Uni Eropa, Korea Selatan, Jepang, dan Australia, pun masih mengamati persaingan teknologi AS-China. ”Mungkin titik balik yang mendorong tata kelola AI adalah ketika AI betul-betul membunuh, mengorbankan, atau membahayakan manusia. Misalnya, agen AI menyimpang lalu meretas sistem aviasi yang menyebabkan kecelakaan pesawat,” ujarnya.