AI Agent Security: Risiko Akses di Sistem Enterprise

AI assistant biasanya hanya memberikan jawaban atau rekomendasi. AI agent dapat melangkah lebih jauh.

Agent dapat membaca email, mencari data pelanggan, memanggil API, membuat tiket, memperbarui status transaksi, mengirimkan dokumen, atau menjalankan workflow pada beberapa sistem sekaligus.

Kemampuan tersebut membuat AI agent lebih bernilai bagi perusahaan. Namun, kemampuan untuk bertindak juga menciptakan risiko keamanan yang berbeda dari chatbot biasa.

Ketika sebuah chatbot memberikan jawaban yang salah, pengguna masih dapat memilih untuk mengabaikannya. Ketika AI agent mengambil tindakan yang salah, dampaknya dapat langsung masuk ke dalam sistem operasional.

Karena itu, AI agent security tidak cukup hanya berfokus pada keamanan model.

Perusahaan perlu mengamankan identitas agent, data yang dapat diakses, tools yang boleh digunakan, tindakan yang dapat dijalankan, serta bukti mengenai siapa yang memberi instruksi dan apa yang dilakukan agent setelahnya.

NIST pada 2026 meluncurkan inisiatif khusus mengenai standar AI agent serta eksplorasi identitas dan otorisasi software agent. Fokusnya mencakup identifikasi, authorization, auditing, non-repudiation, serta kontrol terhadap serangan seperti prompt injection.

Prinsip utamanya sederhana:

AI agent tidak boleh memiliki akses hanya karena secara teknis mampu menggunakan sebuah tool.

Mengapa AI Agent Membutuhkan Pendekatan Keamanan Baru?

Aplikasi tradisional umumnya menjalankan fungsi yang sudah ditentukan developer.

Jika pengguna menekan tombol untuk membuat invoice, aplikasi menjalankan alur yang relatif tetap. Input, output, permission, dan prosesnya dapat diprediksi.

AI agent bekerja dengan cara berbeda.

Agent dapat:

1. Menerima tujuan dalam bahasa alami.
2. Menafsirkan maksud pengguna.
3. Menentukan beberapa langkah.
4. Memilih tools yang akan digunakan.
5. Membaca hasil dari tool tersebut.
6. Menentukan tindakan berikutnya.
7. Mengulangi proses sampai tujuan dianggap selesai.

Fleksibilitas tersebut membuat jalur eksekusi lebih sulit diprediksi.

Satu instruksi yang terlihat sederhana dapat memicu beberapa akses ke database, dokumen, API pihak ketiga, atau sistem internal. Jika permission terlalu luas, satu kesalahan interpretasi dapat memengaruhi lebih banyak resource.

Karena itu, agent perlu diperlakukan sebagai identitas digital yang dapat bertindak, bukan sekadar fitur di dalam aplikasi.

Microsoft menjelaskan bahwa AI agent enterprise memerlukan identity model yang mencakup authentication, authorization, delegation, scoped permission, policy enforcement, dan auditing. Google juga mulai memperkenalkan identitas khusus agent yang berbeda dari identitas manusia maupun service account generik.

Risiko Utama AI Agent Security

1. Agent Menggunakan Akun Bersama

Pada tahap proof of concept, developer dapat menghubungkan agent menggunakan satu akun administrator atau API key bersama.

Cara ini memang mempercepat eksperimen. Namun, perusahaan kemudian sulit menjawab:

• Agent mana yang menjalankan tindakan?
• Pengguna mana yang memberikan instruksi?
• Apakah tindakan dilakukan atas nama pengguna atau sistem?
• Permission apa yang sebenarnya dibutuhkan?
• Siapa yang harus bertanggung jawab ketika terjadi kesalahan?

Akun bersama juga membuat pencabutan akses menjadi lebih sulit. Menonaktifkan satu credential dapat menghentikan beberapa aplikasi sekaligus.

Agent production sebaiknya memiliki identitas unik dan lifecycle yang jelas, mulai dari pembuatan, pemberian permission, rotasi credential, pemantauan, hingga pencabutan akses.

2. Permission Terlalu Luas

Sebuah agent mungkin hanya membutuhkan akses untuk membaca status pesanan. Namun, karena API menyediakan beberapa fungsi sekaligus, agent juga memperoleh kemampuan mengubah atau menghapus pesanan.

Masalah ini disebut excessive permission.

OWASP merekomendasikan penerapan least privilege terhadap seluruh tools dan permission agent. Agent hanya menerima akses minimum yang dibutuhkan untuk menyelesaikan tugas tertentu.

Perusahaan juga perlu mempertimbangkan prinsip least agency: memberikan tingkat kemandirian minimum yang tetap menghasilkan nilai.

Jika sebuah proses cukup diselesaikan dengan rekomendasi, agent belum perlu diberi kemampuan eksekusi. Jika agent hanya perlu menyiapkan transaksi, persetujuan akhir tetap dapat dilakukan manusia.

3. Prompt Injection dari Sumber Eksternal

Agent tidak hanya menerima instruksi dari pengguna.

Agent dapat membaca:

• Email.
• Dokumen.
• Website.
• Data API.
• Ticket pelanggan.
• Informasi dari agent lain.
• Deskripsi tools.

Sumber tersebut dapat berisi instruksi tersembunyi atau berbahaya yang mencoba mengubah perilaku agent.

Sebagai contoh, dokumen yang dibaca agent dapat memuat instruksi untuk mengabaikan aturan sebelumnya, mengambil data tambahan, atau mengirimkan informasi ke tujuan lain.

Masalahnya menjadi serius ketika agent memiliki akses ke tools dengan permission tinggi.

OWASP menyarankan validasi input eksternal, isolasi tool berisiko tinggi, penggunaan output terstruktur, serta pemisahan konteks untuk mengurangi dampak prompt injection dan tool poisoning.

Filter prompt saja tidak cukup. Sistem tetap perlu membatasi apa yang dapat dilakukan agent apabila instruksi berbahaya berhasil memengaruhi model.

4. Agent Membawa Akses Pengguna secara Berlebihan

Beberapa agent bertindak atas nama pengguna.

Pendekatan ini diperlukan agar agent dapat membaca kalender, dokumen, data pelanggan, atau aplikasi yang memang boleh digunakan pengguna tersebut.

Namun, delegation perlu memiliki batas.

Agent tidak seharusnya menerima seluruh permission pengguna untuk setiap tugas. Akses idealnya dibatasi berdasarkan:

• Tujuan.
• Resource.
• Tool.
• Durasi.
• Tindakan.
• Nilai transaksi.
• Environment.

Misalnya, pengguna finance memiliki hak membuat pembayaran. Agent yang membantu memeriksa invoice tidak otomatis harus menerima hak yang sama.

Delegation harus menyampaikan identitas pengguna sekaligus membatasi authority agent.

5. Tool Chain Memperbesar Dampak Kesalahan

Satu agent dapat menghubungkan beberapa tools.

Agent membaca email, mengambil data vendor, membuat dokumen, lalu mengirimkan permintaan pembayaran. Setiap tindakan mungkin terlihat aman secara individual, tetapi rangkaiannya dapat menghasilkan dampak yang lebih besar.

Risikonya meliputi:

• Agent mengambil data dari sumber yang salah.
• Output tool pertama menjadi instruksi untuk tool berikutnya.
• Retry menciptakan transaksi duplikat.
• Agent terus menjalankan langkah karena tidak memiliki stopping condition.
• Satu tool yang disusupi memengaruhi seluruh workflow.
• Agent mengeskalasi akses melalui kombinasi beberapa tools.

Keamanan perlu mengevaluasi workflow end-to-end, bukan hanya keamanan setiap API secara terpisah.

6. Memory dan Context Bocor ke Pengguna Lain

Agent dapat menyimpan histori interaksi, preferensi, hasil pencarian, atau informasi yang diperlukan untuk menyelesaikan tugas jangka panjang.

Jika memory tidak dipisahkan dengan benar, informasi satu pengguna dapat muncul pada sesi pengguna lain.

Risiko serupa terjadi pada multi-tenant system ketika retrieval tidak menerapkan filter tenant dan permission sebelum dokumen dikirimkan ke model.

OWASP menyarankan isolasi memory dan context berdasarkan pengguna atau sesi, serta klasifikasi data sebelum informasi digunakan agent.

7. Tindakan Agent Tidak Dapat Ditelusuri

Log aplikasi biasa mungkin hanya mencatat bahwa sebuah API dipanggil.

Untuk AI agent, perusahaan juga perlu mengetahui:

• Siapa yang memberi instruksi?
• Agent mana yang bekerja?
• Model dan versi apa yang digunakan?
• Data apa yang dibaca?
• Tool apa yang dipanggil?
• Permission apa yang digunakan?
• Tindakan apa yang disarankan dan dieksekusi?
• Apakah terdapat approval manusia?
• Apakah hasilnya diubah atau dibatalkan?

Audit trail harus menghubungkan instruksi awal dengan seluruh tindakan setelahnya.

Auditability penting untuk incident investigation, compliance, evaluasi kualitas, serta pembuktian bahwa tindakan benar-benar dilakukan oleh agent yang berwenang.

Fondasi Keamanan untuk AI Agent

Identitas Khusus untuk Setiap Agent

Hindari penggunaan administrator account, credential developer, atau service account bersama.

Setiap agent perlu memiliki:

• Identitas unik.
• Owner bisnis dan teknis.
• Purpose yang terdokumentasi.
• Permission terpisah.
• Environment yang jelas.
• Masa berlaku.
• Prosedur revocation.

Identitas unik membuat aktivitas agent dapat dibedakan dari aktivitas pengguna, aplikasi, dan agent lain.

Pisahkan Read Access dan Write Access

Kemampuan membaca data memiliki risiko berbeda dengan kemampuan mengubah data.

Agent dapat dimulai dengan read-only access untuk mengumpulkan informasi dan memberikan rekomendasi. Write access baru diberikan setelah kualitas, kontrol, dan failure scenario diuji.

Untuk proses sensitif, perusahaan dapat memisahkan agent pembaca dan executor. Agent pertama melakukan analisis, sedangkan komponen kedua menjalankan transaksi deterministik setelah seluruh aturan terpenuhi.

Terapkan Approval Berdasarkan Risiko

Tidak semua tindakan membutuhkan persetujuan manual.

Gunakan klasifikasi seperti:

Human-in-the-loop sebaiknya ditempatkan berdasarkan konsekuensi tindakan, bukan diterapkan secara seragam pada semua workflow.

Gunakan Credential Berumur Pendek

Credential permanen meningkatkan dampak jika bocor.

Gunakan token berumur pendek, scoped authorization, rotasi otomatis, serta revocation yang dapat dilakukan tanpa menghentikan seluruh sistem.

Agent juga tidak perlu mengetahui secret secara langsung jika platform dapat mengambil credential melalui identity provider atau secret management service.

Batasi Tools dan Parameter

Agent sebaiknya tidak menerima akses ke seluruh API hanya karena API tersebut tersedia.

Terapkan:

• Tool allowlist.
• Parameter validation.
• Batas nilai transaksi.
• Batas jumlah request.
• Batas langkah.
• Timeout.
• Schema output.
• Idempotency untuk mencegah transaksi ganda.

Model dapat memilih tindakan, tetapi policy engine atau application layer tetap harus menentukan apakah tindakan tersebut diperbolehkan.

Siapkan Kill Switch dan Recovery

Perusahaan harus dapat menghentikan agent dengan cepat.

Mekanisme recovery dapat meliputi:

• Menonaktifkan identitas agent.
• Mencabut token.
• Menghentikan workflow aktif.
• Menonaktifkan satu tool.
• Mengubah agent menjadi read-only.
• Membatalkan transaksi.
• Mengembalikan data.
• Mengalihkan proses ke manusia.

Kill switch perlu diuji, bukan sekadar tercantum pada dokumentasi.

Checklist Kesiapan AI Agent Security

Kesimpulan

AI agent security bukan hanya persoalan melindungi prompt atau memilih model yang aman.

Risiko utamanya muncul ketika agent memperoleh kemampuan untuk membaca data, menggunakan tools, dan menjalankan tindakan pada sistem perusahaan.

Agent perlu memiliki identitas khusus, permission minimum, batas tindakan, approval berdasarkan risiko, audit trail, dan prosedur recovery.

Perusahaan juga harus menganggap seluruh input eksternal sebagai sumber yang berpotensi memengaruhi perilaku agent. Keamanan tidak boleh bergantung pada kemampuan model untuk selalu membedakan instruksi aman dan berbahaya.

Prinsip yang lebih aman adalah:

Model dapat mengusulkan tindakan, tetapi sistem tetap menentukan tindakan apa yang diizinkan.

AI agent tidak harus langsung memiliki otonomi penuh.

Perusahaan dapat memulai dari akses read-only, kemudian bergerak menuju rekomendasi, persiapan tindakan, eksekusi terbatas, dan otonomi yang lebih besar setelah kontrolnya terbukti.

Bangun AI Agent yang Aman Bersama Crocodic

Crocodic membantu perusahaan membangun dan mengintegrasikan AI agent ke dalam workflow bisnis dengan mempertimbangkan data, identitas, permission, integrasi, human approval, serta auditability.

Melalui layanan Enterprise System Upgrade, Crocodic dapat menambahkan AI assistant dan workflow automation pada sistem yang sudah berjalan tanpa selalu mengganti seluruh aplikasi.

Untuk proses inti yang membutuhkan sistem baru, Crocodic menyediakan Custom Enterprise Software yang dibentuk sesuai workflow, struktur data, role pengguna, dan kebutuhan integrasi perusahaan. Layanan ini mendukung pengaturan akses multi-user serta kepemilikan kode dan data oleh perusahaan.

Proses dimulai dari strategic discovery untuk menentukan use case, tingkat otonomi, tools, data, permission, risiko, dan mekanisme recovery sebelum agent masuk ke production.

Diskusikan arsitektur dan keamanan AI agent perusahaan Anda bersama Crocodic.