Ini kisah nyata. Mark Pollard, pakar strategi pemasaran asal Australia, tertahan di bandara Chili setelah ChatGPT memberikan informasi keliru soal visa. Kalau generative AI (GenAI) saja bisa salah, bagaimana dengan agentic AI—teknologi yang tidak hanya menyodorkan saran atau jawaban, tetapi juga mengeksekusi keputusan—ketika diberikan kendali atas proses bisnis yang kritis di lingkungan enterprise?
Baca juga: Apa Itu Agentic AI, Cara Kerja, Manfaat, dan Tren Adopsinya
Pertanyaan ini semakin relevan karena agentic AI sedang naik daun. Banyak perusahaan mulai bereksperimen dengan agen cerdas yang mampu bekerja lintas sistem, memanggil layanan, bahkan menjalankan transaksi secara mandiri.
Atensi perusahaan itu tak lepas dari manfaat yang dijanjikan agentic AI, di antaranya efisiensi, produktivitas, skalabilitas, fleksibilitas, pengambilan keputusan cerdas dan sebagainya. Dan bagi sebagian orang, teknologi ini tampak seperti masa depan otomatisasi.
Namun di balik janji efisiensi, ada konsekuensi serius yang tidak boleh diabaikan: bagaimana jika keputusan AI yang salah berubah menjadi aksi nyata yang merugikan?
Baca juga: Evolusi AI: Dari Generative AI ke Agentic AI Hingga Menuju AGI
Risiko di Balik Efisiensi Agentic AI
Agentic AI menjanjikan efisiensi lewat kemampuannya mengotomatisasi tugas-tugas yang kompleks. Misalnya, dalam konteks layanan pelanggan, agen AI tidak hanya menjawab pertanyaan pelanggan tetapi juga mengidentifikasi masalah, mengusulkan solusi, bahkan mengkoordinasikan penyelesaian masalah secara lintas departemen.
Namun kemampuan itu juga memperluas permukaan serangan sekaligus mendatangkan risiko yang lebih besar dibandingkan GenAI konvensional.
Kesalahan AI di level individu mungkin hanya membuat seseorang gagal hadir di konferensi, seperti dalam kejadian yang dialami Mark Pollard.
Namun ketika sebuah agen AI memiliki akses ke API, database, atau kemampuan menjalankan kode, kesalahan bukan lagi sekadar miskomunikasi tetapi aksi nyata yang merusak. Di lingkungan enterprise, kesalahan itu bisa berujung kerugian finansial, tercorengnya reputasi, bahkan risiko hukum.
Apa saja ancaman dan risiko keamanan yang muncul dari adopsi agentic AI?
Ancaman Keamanan Agentic AI
Ancaman terhadap GenAI tetap nyata. Jenis AI ini rentan pada halusinasi (misinformation), manipulasi input (prompt injection), bias dalam output, dan kebocoran atau pengungkapan ulang data sensitif. Dampak umumnya adalah salah informasi, kebocoran data, atau penguatan bias.
Kasus Mark Pollard di awal tulisan ini menunjukkan bahwa salah informasi yang kelihatannya perkara kecil ternyata bisa berdampak besar jika GenAI dilibatkan untuk keputusan krusial.
Namun ancaman pada agentic AI meningkat dalam skala dan konsekuensi karena jenis AI tidak hanya “bicara” tetapi juga bertindak, seperti merencanakan, memanggil layanan, mengeksekusi transaksi, dan mengubah status sistem.
Oleh karena itu, celah keamanan yang sama bisa berubah menjadi aksi nyata yang menimbulkan kerugian finansial, pelanggaran hukum, atau gangguan operasional yang luas.
Berdasarkan dokumen OWASP yang berjudul Agentic AI: Threats and Mitigations (Februari 2025), ancaman utama yang perlu diwaspadai pada agentic AI meliputi:
1. Memori disusupi (memory poisoning)
Memori AI bisa disusupi informasi palsu atau berbahaya sehingga keputusan yang diambil selanjutnya jadi salah karena dasarnya sudah keliru/terkontaminasi.
2. Penyalahgunaan alat (tool Misuse / agent hijacking)
Jika AI punya akses ke alat atau sistem, seperti API, database, atau aplikasi, penyerang bisa memanipulasi agen AI untuk menjalankan aksi yang merugikan, misalnya menyalin data atau membuat transaksi ilegal.
3. Akses berlebihan (privilege compromise)
AI kadang mewarisi atau memperoleh hak akses yang berlebihan. Jika dimanfaatkan penyerang, akses ini bisa dipakai untuk masuk ke sistem sensitif.
4. Pengalihan tujuan (intent breaking & goal manipulation)
Penyerang bisa mengubah arah kerja AI lewat instruksi tersembunyi atau data yang sudah terkontaminasi. Akibatnya, AI malah melenceng dari tujuan awalnya.
5. Perilaku menipu (misaligned & deceptive behaviors)
Ketika mengejar target, agen AI bisa saja “mengakali” aturan, bahkan menipu manusia agar tindakannya terlihat sah, meski sebenarnya berisiko atau melanggar aturan.
6. Kesalahan berantai (cascading hallucinations)
Jika ada informasi salah yang masuk, AI bisa terus menggunakan dan menyebarkannya ke langkah-langkah berikutnya sehingga mengakibatkan kegagalan sistemik.
7. Sulit dilacak (repudiation & untraceability)
Kalau tidak ada pencatatan yang jelas, tindakan AI sulit ditelusuri sehingga sumber masalah sulit ditemukan dan kepatuhan pada aturan sulit dijalankan.
8. Agen “nakal” (rogue agents /agent communication poisoning)
Dalam sistem dengan banyak agen, ada risiko satu agen disusupi atau komunikasi antara agen-agen AI itu dipalsukan. Akibatnya, seluruh kerja sama antaragen ini bisa kacau.
9. Beban berlebihan (resource overload)
Penyerang bisa membuat AI mengonsumsi sumber daya komputer terlalu banyak (misalnya dengan membanjiri sistem dengan permintaan). Akibatnya sistem jadi lambat atau lumpuh.
10. Eksekusi kode berbahaya (unexpected RCE & code attacks)
Jika AI bisa membuat atau menjalankan kode, ada risiko kode berbahaya disusupkan dan dijalankan tanpa sadar.
11. Penyamaran identitas (identity spoofing & impersonation)
Penyerang bisa berpura-pura menjadi agen AI tertentu atau pengguna resmi, lalu melakukan aksi berbahaya seolah-olah itu aksi yang sah.
12. Membebani atau menipu manusia (overwhelming HITL & human manipulation)
Kalau AI bekerja bersama manusia, penyerang bisa membanjiri pengawas dengan permintaan yang tidak wajar atau memanipulasi kepercayaan manusia, sehingga kontrol manusia menjadi lemah atau salah arah.
Risiko bagi Enterprise
Ancaman-ancaman di atas memperlihatkan bahwa agentic AI membuka lebih banyak pintu serangan dibanding GenAI. Namun, sekadar memahami jenis ancamannya saja tidak cukup. Yang lebih penting bagi organisasi adalah menyadari risiko nyata yang bisa muncul ketika ancaman tersebut berhasil dieksploitasi.
Di level individu, risikonya mungkin “hanya” sebatas salah informasi atau kebocoran data pribadi. Tetapi di lingkungan enterprise, dampaknya bisa jauh lebih serius, yaitu mulai dari kerugian finansial, reputasi yang tercoreng, hingga konsekuensi hukum dan kepatuhan regulasi.
Apa saja risiko yang timbul dari mengadopsi agentic AI? Menurut analisis yang dikutip dari ActiveFence, ada empat area risiko utama yang bisa muncul ketika agentic AI digunakan.
1. Privasi & kebocoran data
Agen yang mengakses banyak sumber bisa mengekspos data sensitif (keuangan, medis, rahasia bisnis) bila kontrol akses atau enkripsi lemah. Jejak audit yang tidak lengkap membuat forensik sulit saat terjadi insiden.
2. Penipuan finansial & manipulasi pasar
Agen yang mengendalikan keputusan trading atau penawaran finansial bisa dimanipulasi untuk melakukan transaksi merugikan, potensi dampaknya sistemik bagi pasar.
3. Keselamatan fisik
Di sektor manufaktur, energi, atau kesehatan, keputusan otonom yang salah bisa menyebabkan kerusakan alat, gangguan layanan kritis, atau bahaya bagi pasien/pekerja.
4. Kampanye disinformasi berskala besar
Agen otonom bisa membuat dan menyebarkan narasi palsu, mengelola akun palsu, dan mengorkestrasi interaksi untuk mempengaruhi opini publik.
Praktik Mitigasi yang Bisa Diterapkan
Langkah pencegahan yang disarankan para ahli sebenarnya bukan sesuatu yang baru. Organisasi bisa mulai dengan menerapkan prinsip keamanan yang sudah lama dipakai di TI, lalu menyesuaikannya untuk konteks agentic AI.
Batasi akses yang diberikan: pastikan agen AI hanya bisa membuka data atau sistem yang memang perlu.
Sediakan jejak yang bisa ditelusuri: catat keputusan penting dan asal data supaya mudah diperiksa jika ada masalah.
Lindungi input: berhati-hati terhadap instruksi berbahaya yang bisa menyusup lewat data atau perintah.
Uji coba secara berkala: lakukan simulasi serangan atau tes keamanan untuk mengetahui titik lemah lebih awal.
Tetap libatkan manusia di titik penting: jangan biarkan agen AI mengambil keputusan besar tanpa persetujuan manusia.
Jaga stabilitas sistem: pastikan agen AI tidak membuat sistem bekerja berlebihan hingga melambat atau lumpuh.
Pantau perilaku AI dari waktu ke waktu: amati perubahan yang tidak wajar agar masalah bisa diantisipasi lebih cepat.
Agentic AI menawarkan kemampuan besar, tetapi juga konsekuensi nyata ketika salah atau disalahgunakan. Agentic AI membuka peluang efisiensi dan produktivitas. Di sisi lain, ia juga menghadirkan risiko baru yang perlu dipahami.
Belajar dari kasus Mark Pollard, kesalahan kecil seperti salah informasi bisa menjadi masalah serius jika terjadi di level organisasi.
Karena itu, kuncinya adalah mengelola teknologi dengan hati-hati. Dengan begitu, manfaat agentic AI bisa diraih tanpa harus mengabaikan sisi keamanannya.
