AI Governance: Kenapa Policy Saja Tidak Cukup?

Perusahaan mulai membuat berbagai aturan mengenai penggunaan artificial intelligence.

Data pelanggan tidak boleh dimasukkan ke model publik. AI tidak boleh membuat keputusan finansial tanpa persetujuan. Informasi rahasia tidak boleh keluar dari lingkungan perusahaan. Output AI harus ditinjau sebelum digunakan untuk proses tertentu.

Secara prinsip, aturan tersebut masuk akal.

Masalahnya muncul ketika AI mulai masuk ke sistem operasional.

AI assistant membaca ribuan dokumen. Agent terhubung dengan CRM, ERP, email, dan workflow approval. Model dapat memilih tools, mengambil data, membuat rekomendasi, bahkan menjalankan tindakan.

Pada titik tersebut, governance tidak dapat hanya berada di dokumen.

Sistem harus mampu menjawab:

• Bagaimana aturan tersebut diterapkan saat AI berjalan?
• Apa yang terjadi ketika agent mencoba tindakan yang dilarang?
• Bagaimana data sensitif diblokir?
• Kapan manusia harus memberikan approval?
• Bagaimana tindakan AI dapat diaudit?
• Siapa yang dapat menghentikan agent ketika terjadi masalah?

Inilah perbedaan antara AI policy dan AI governance yang benar-benar operasional.

Microsoft pada Build 2026 menyoroti masalah yang sama: written policy sering tidak berubah menjadi runtime control yang bekerja. Karena itu, governance AI mulai bergerak menuju mekanisme evaluasi, observability, dan deterministic control pada titik-titik tempat agent dapat gagal.

Prinsipnya:

Governance tidak selesai ketika aturan ditulis. Governance baru bekerja ketika sistem dapat menegakkan aturan tersebut.

Apa Itu AI Governance?

AI governance adalah kerangka kebijakan, proses, tanggung jawab, kontrol teknis, dan mekanisme evaluasi yang digunakan organisasi untuk memastikan AI digunakan sesuai tujuan, risiko, hukum, dan nilai perusahaan.

NIST AI Risk Management Framework menggunakan empat fungsi utama:

• Govern
• Map
• Measure
• Manage

Governance ditempatkan sebagai fungsi lintas lifecycle. Artinya, risiko tidak hanya diperiksa pada saat AI akan diluncurkan, tetapi terus dikelola ketika model, data, pengguna, dan konteks bisnis berubah.

NIST AI Risk Management Framework juga menekankan bahwa organisasi perlu memahami tujuan penggunaan AI, memetakan risiko, mengukur performa serta dampaknya, kemudian menentukan bagaimana risiko tersebut akan ditangani.

Dengan demikian, AI governance bukan sekadar membuat daftar:

boleh dan tidak boleh menggunakan AI.

Governance harus menentukan bagaimana keputusan tersebut diwujudkan dalam sistem.

Policy dan Enforcement adalah Dua Hal Berbeda

Bayangkan perusahaan memiliki aturan:

“AI tidak boleh mengirim data pelanggan ke aplikasi eksternal.”

Policy tersebut jelas.

Namun, AI agent memiliki akses ke:

• CRM.
• Email.
• File storage.
• Tool pencarian.
• API eksternal.

Jika sistem hanya mengandalkan system prompt seperti:

“Jangan pernah membagikan data pelanggan,”

maka kontrol utamanya masih berada pada model.

Model bersifat probabilistik. Prompt juga dapat dipengaruhi input lain, termasuk dokumen, email, website, atau tool output.

Karena itu, enforcement perlu dilakukan di luar model.

Contohnya:

1. Agent meminta menggunakan tool pengiriman email.
2. Application layer memeriksa recipient.
3. Data classification memeriksa informasi sensitif.
4. Policy engine menentukan apakah tindakan diperbolehkan.
5. Jika risiko tinggi, workflow meminta human approval.
6. Jika aturan dilanggar, tindakan diblokir.
7. Seluruh kejadian dicatat pada audit trail.

AI dapat mengusulkan tindakan.

Tetapi sistem tetap menentukan apakah tindakan boleh dijalankan.

Lima Titik Runtime Governance

Microsoft Agent Control Specification pada 2026 memperkenalkan gagasan deterministic control pada lima checkpoint utama dalam lifecycle agent:

1. Input.
2. Model.
3. State.
4. Tool execution.
5. Output.

Pendekatan ini memberikan gambaran yang baik mengenai bagaimana governance dapat diterjemahkan ke arsitektur production.

1. Input Control

Governance dimulai sebelum prompt dikirim ke model.

Sistem dapat memeriksa:

• Data pribadi.
• Informasi rahasia.
• File yang tidak diizinkan.
• Instruksi berbahaya.
• Pengguna yang tidak memiliki akses.

Contohnya, karyawan meminta AI menganalisis dokumen yang sebenarnya hanya boleh diakses oleh legal team.

Sistem seharusnya memblokir request berdasarkan permission, bukan berharap model menolak secara sukarela.

2. Model Control

Tidak semua model boleh digunakan untuk setiap use case.

Perusahaan dapat menentukan:

• Model yang telah disetujui.
• Region deployment.
• Jenis data yang boleh diproses.
• Maximum context.
• Provider yang diperbolehkan.
• Batas biaya.
• Model fallback.

Use case internal knowledge assistant mungkin memiliki standar berbeda dengan AI yang terlibat dalam transaksi finansial.

Model selection juga merupakan bagian governance.

3. State dan Memory Control

Agent dapat menyimpan informasi dari interaksi sebelumnya.

Memory dapat meningkatkan kualitas pengalaman, tetapi juga menciptakan risiko.

Perusahaan perlu menentukan:

• Informasi apa yang boleh disimpan.
• Berapa lama disimpan.
• Siapa yang dapat mengaksesnya.
• Apakah memory dipisahkan antar-user atau tenant.
• Bagaimana memory dihapus.
• Apakah data sensitif boleh masuk ke long-term memory.

Agent tidak boleh membawa informasi pengguna A ketika melayani pengguna B.

4. Tool Execution Control

Ini menjadi salah satu area paling kritis.

Agent dapat menggunakan tools seperti:

• Membaca database.
• Memperbarui CRM.
• Membuat purchase request.
• Mengirim email.
• Membuat pembayaran.
• Menghapus data.

Setiap tool perlu memiliki policy sendiri.

Contohnya:

Semakin besar konsekuensi tindakan, semakin kuat enforcement yang dibutuhkan.

5. Output Control

Output AI juga perlu diperiksa.

Perusahaan dapat menerapkan:

• Data loss prevention.
• Content filtering.
• Citation requirement.
• Format validation.
• Confidence threshold.
• Sensitive information detection.
• Human review.

Pada use case tertentu, output yang tidak memenuhi kriteria seharusnya tidak pernah mencapai pengguna atau sistem berikutnya.

Human-in-the-Loop Bukan Berarti Semua Harus Manual

Salah satu kesalahpahaman AI governance adalah:

Semakin aman berarti semakin banyak approval manusia.

Tidak selalu.

Jika seluruh langkah AI membutuhkan persetujuan manual, manfaat automation akan berkurang.

Pendekatan yang lebih baik adalah risk-based approval.

Risiko rendah

Contohnya merangkum dokumen internal.

Dapat dijalankan otomatis.

Risiko menengah

Contohnya membuat draft laporan atau mengubah status internal.

Dapat dijalankan dengan audit dan notification.

Risiko tinggi

Contohnya mengirim informasi ke pihak eksternal atau mengubah master data.

Membutuhkan human approval.

Risiko sangat tinggi

Contohnya transaksi finansial, penghapusan data, perubahan akses, atau keputusan berdampak signifikan.

Membutuhkan approval berlapis atau proses deterministik terpisah.

Governance yang baik bukan menghambat seluruh AI.

Governance memastikan tingkat kontrol mengikuti tingkat risiko.

AI Governance Membutuhkan Observability

Perusahaan tidak dapat mengendalikan sistem yang tidak dapat dilihat.

Agentic AI menambah banyak komponen:

• Prompt.
• Model.
• Retrieval.
• Memory.
• Tools.
• Agent lain.
• API.
• Human interaction.

Karena itu, perusahaan perlu mengetahui perjalanan sebuah tindakan dari awal sampai akhir.

Audit trail idealnya dapat menjawab:

• Siapa yang memberikan instruksi?
• Agent apa yang memprosesnya?
• Model mana yang digunakan?
• Data apa yang diakses?
• Tool apa yang dipanggil?
• Policy apa yang diperiksa?
• Apakah ada tindakan yang diblokir?
• Siapa yang memberi approval?
• Apa output akhirnya?

Observability kemudian memungkinkan governance bekerja secara berkelanjutan.

Microsoft juga menekankan bahwa agent dapat berubah perilakunya ketika model, tools, atau pola penggunaan berubah. Karena itu, monitoring production dibutuhkan bahkan setelah agent sudah melewati testing.

Governance Harus Mengikuti Seluruh Lifecycle

AI governance sering baru dibahas ketika aplikasi hampir masuk production.

Ini terlambat.

Governance perlu hadir sejak tahap:

Discovery

Tentukan:

• Use case.
• Pengguna.
• Risiko.
• Data.
• Dampak jika AI salah.

Design

Tentukan:

• Model.
• Permission.
• Tool.
• Human approval.
• Data boundary.
• Audit requirement.

Development

Implementasikan:

• Guardrail.
• Authentication.
• Authorization.
• Logging.
• Evaluation.

Testing

Uji:

• Prompt injection.
• Permission violation.
• Data leakage.
• Incorrect tool selection.
• Unsafe output.
• Failure scenario.

Production

Pantau:

• Policy violation.
• Human override.
• Model drift.
• Cost.
• Tool failure.
• Unusual activity.

Retirement

Tentukan:

• Penonaktifan agent.
• Pencabutan credential.
• Penghapusan memory.
• Retention audit log.
• Penghentian integration.

Governance adalah lifecycle, bukan approval satu kali.

Jangan Menaruh Semua Governance di Prompt

Prompt tetap berguna untuk menjelaskan perilaku yang diharapkan.

Namun, prompt tidak boleh menjadi satu-satunya mekanisme kontrol.

Gunakan beberapa lapisan.

Prinsip defense-in-depth yang digunakan pada sistem enterprise tetap relevan untuk AI.

AI governance bukan pengganti security architecture.

Governance menambahkan konteks mengenai bagaimana AI boleh menggunakan sistem tersebut.

Framework AI Governance Enterprise

Perusahaan dapat menggunakan checklist sederhana berikut:

Tidak semua use case membutuhkan governance dengan kedalaman yang sama.

AI untuk membuat draft copy marketing memiliki risiko berbeda dengan AI yang mengakses sistem procurement atau melakukan keputusan finansial.

Governance harus proporsional terhadap konsekuensi.

Kesalahan Umum dalam AI Governance

Membuat Policy yang Terlalu Umum

Contoh:

“Gunakan AI secara bertanggung jawab.”

Kalimat tersebut baik sebagai prinsip, tetapi tidak memberikan instruksi operasional.

Governance Hanya Dimiliki Tim Legal

Legal dan compliance penting. Namun, implementation membutuhkan engineering, security, data, product, dan business owner.

Tidak Ada Owner Setelah Production

Agent sudah live, tetapi tidak jelas siapa bertanggung jawab terhadap kualitas, permission, biaya, dan incident.

Menganggap Model Aman Berarti Sistem Aman

Model dapat memiliki guardrail, tetapi aplikasi masih dapat salah mengelola permission, data, atau tool.

Menggunakan Governance untuk Memblokir Semua Eksperimen

Governance yang terlalu berat pada use case berisiko rendah akan mendorong shadow AI.

Gunakan sandbox, data terbatas, dan level approval yang sesuai agar eksperimen tetap dapat dilakukan dengan aman.

Kesimpulan

AI governance tidak cukup hanya menghasilkan policy.

Policy menjelaskan apa yang seharusnya terjadi.

Governance memastikan aturan tersebut benar-benar diterapkan ketika AI berinteraksi dengan data, pengguna, model, tools, dan sistem bisnis.

Perusahaan membutuhkan kombinasi antara:

• Policy.
• Identity.
• Authorization.
• Guardrails.
• Runtime control.
• Human approval.
• Observability.
• Evaluation.
• Incident response.

NIST menempatkan governance sebagai fungsi lintas lifecycle melalui pendekatan Govern, Map, Measure, dan Manage. Artinya, risiko perlu terus dievaluasi ketika sistem dan konteks penggunaannya berubah.

Perspektif yang lebih tepat adalah:

AI governance tidak boleh hanya hidup di dokumen. Governance harus hidup di dalam arsitektur sistem.

Ketika AI hanya memberikan rekomendasi, konsekuensinya mungkin terbatas.

Ketika AI mulai mengambil tindakan, governance perlu berkembang dari policy menjadi enforcement.

Bangun AI Governance yang Operasional Bersama Crocodic

Crocodic membantu perusahaan merancang AI sebagai bagian dari sistem enterprise dengan mempertimbangkan data, identity, permission, workflow, integration, observability, dan human approval.

Melalui layanan Enterprise System Upgrade, sistem yang sudah berjalan dapat diperkuat dengan AI assistant, automation, integration layer, dan access control tanpa selalu dibangun ulang dari awal.

Untuk kebutuhan baru, Custom Enterprise Software memungkinkan governance dirancang sejak arsitektur awal melalui role-based access, business rule, audit trail, workflow approval, dan integrasi yang terkontrol.

Tujuannya bukan hanya membuat AI dapat bekerja.

Tujuannya adalah memastikan perusahaan tetap mengetahui apa yang AI boleh lakukan, siapa yang bertanggung jawab, dan bagaimana sistem menghentikannya ketika batas tersebut dilanggar.

Diskusikan arsitektur, governance, dan implementasi AI enterprise bersama Crocodic.