Biaya artificial intelligence sering terlihat sederhana saat perusahaan masih berada pada tahap eksperimen.<\/p>\n\n\n\n
Tim memilih model, memasukkan sejumlah kredit, lalu menjalankan beberapa ratus permintaan. Biayanya terlihat kecil dibandingkan manfaat yang dijanjikan.<\/p>\n\n\n\n
Masalah mulai muncul ketika AI digunakan oleh ratusan pengguna, membaca dokumen dalam jumlah besar, terhubung dengan beberapa sistem, atau menjalankan workflow secara berulang.<\/p>\n\n\n\n
Satu permintaan pengguna dapat memicu:<\/p>\n\n\n\n
Perusahaan akhirnya tidak hanya membayar satu jawaban AI. Perusahaan membayar seluruh rangkaian sistem yang menghasilkan jawaban atau tindakan tersebut.<\/p>\n\n\n\n
Inilah alasan perusahaan membutuhkan FinOps untuk AI<\/strong>.<\/p>\n\n\n\n FinOps bukan sekadar aktivitas mengurangi tagihan teknologi. FinOps Foundation mendefinisikannya sebagai kerangka operasional dan praktik budaya untuk memaksimalkan nilai bisnis teknologi melalui kolaborasi engineering, finance, dan business. Dalam konteks AI, fokusnya adalah memahami hubungan antara penggunaan, biaya, kualitas, dan hasil bisnis. (FinOps Foundation<\/a>)<\/p>\n\n\n\n Pertanyaan utamanya bukan:<\/p>\n\n\n\n \u201cBerapa banyak token yang digunakan?\u201d<\/strong><\/p>\n<\/blockquote>\n\n\n\n Melainkan:<\/p>\n\n\n\n \u201cBerapa biaya yang dibutuhkan AI untuk menyelesaikan satu proses bisnis dan apakah hasilnya sepadan?\u201d<\/strong><\/p>\n<\/blockquote>\n\n\n\n Software tradisional sering memiliki struktur biaya yang relatif mudah diperkirakan.<\/p>\n\n\n\n Perusahaan membeli lisensi berdasarkan jumlah pengguna, menyewa server dengan kapasitas tertentu, atau membayar biaya langganan bulanan.<\/p>\n\n\n\n AI memperkenalkan lebih banyak variabel.<\/p>\n\n\n\n Biaya dapat berubah berdasarkan:<\/p>\n\n\n\n Dua pengguna yang menjalankan fitur sama dapat menghasilkan biaya berbeda jika konteks, dokumen, atau kompleksitas permintaannya berbeda.<\/p>\n\n\n\n Microsoft mencatat bahwa biaya workload AI dapat berubah berdasarkan panjang konteks, kedalaman retrieval, dan model yang dipilih. Artinya, jumlah pengguna saja tidak cukup untuk memprediksi tagihan AI. (Microsoft Learn<\/a>)<\/p>\n\n\n\n Token merupakan unit yang digunakan model untuk memproses input dan menghasilkan output.<\/p>\n\n\n\n Token penting karena membantu perusahaan mengukur konsumsi. Namun, token tidak menjelaskan apakah AI memberikan nilai.<\/p>\n\n\n\n Sepuluh ribu token dapat menghasilkan laporan penting yang menghemat beberapa jam kerja. Jumlah yang sama juga dapat habis untuk percakapan berulang yang tidak pernah digunakan.<\/p>\n\n\n\n FinOps Foundation menyebut token sebagai salah satu unit konkret untuk menghitung biaya AI, tetapi organisasi tetap perlu menerjemahkannya ke metrik yang dipahami bisnis, seperti biaya per query, pengguna, atau workflow.<\/p>\n\n\n\n Karena itu, perusahaan sebaiknya menggunakan dua lapisan metrik.<\/p>\n\n\n\n Metrik konsumsi menjelaskan ke mana uang digunakan. Metrik nilai menjelaskan apakah penggunaan tersebut layak dilanjutkan.<\/p>\n\n\n\n Tim sering memilih model dengan kemampuan tertinggi untuk seluruh tugas.<\/p>\n\n\n\n Padahal, tidak semua pekerjaan membutuhkan reasoning yang kompleks.<\/p>\n\n\n\n Klasifikasi dokumen, ekstraksi field, moderasi, atau routing permintaan mungkin dapat dilakukan oleh model yang lebih kecil. Model besar kemudian digunakan hanya ketika permintaan membutuhkan konteks atau reasoning lebih dalam.<\/p>\n\n\n\n AWS merekomendasikan pemilihan model berdasarkan kebutuhan performa, akurasi, dan biaya. Pendekatan multi-model memungkinkan setiap tahapan workflow menggunakan model yang paling sesuai. (AWS<\/a>)<\/p>\n\n\n\n Semakin banyak informasi yang dikirimkan ke model, semakin tinggi konsumsi token.<\/p>\n\n\n\n Tim dapat memasukkan seluruh histori percakapan, dokumen lengkap, atau data yang sebenarnya tidak relevan.<\/p>\n\n\n\n Masalah tersebut sering terjadi pada aplikasi retrieval-augmented generation atau RAG. Sistem mengambil terlalu banyak dokumen karena tidak memiliki filtering, ranking, atau chunking yang baik.<\/p>\n\n\n\n Mengirim lebih banyak konteks tidak selalu meningkatkan kualitas. Informasi yang tidak relevan dapat menambah biaya sekaligus membingungkan model.<\/p>\n\n\n\n AI agent dapat merencanakan tindakan, memanggil tools, mengevaluasi hasil, lalu mencoba kembali.<\/p>\n\n\n\n Tanpa batas yang jelas, satu permintaan dapat berkembang menjadi banyak iterasi.<\/p>\n\n\n\n AWS menekankan pentingnya workflow boundary dan stopping condition untuk mencegah proses generative AI terus mengonsumsi sumber daya setelah manfaatnya tidak lagi bertambah.<\/p>\n\n\n\n Perusahaan perlu menetapkan:<\/p>\n\n\n\n Perusahaan dapat memiliki banyak eksperimen AI yang dibuat oleh divisi berbeda.<\/p>\n\n\n\n Setiap eksperimen menggunakan API key, provider, database, dan dashboard sendiri. Setelah pilot selesai, resource tetap aktif karena tidak ada owner yang menutupnya.<\/p>\n\n\n\n Masalah ini membuat pengeluaran AI tersebar dan sulit dialokasikan.<\/p>\n\n\n\n Untuk model yang dijalankan sendiri, biaya tidak hanya muncul saat request diproses.<\/p>\n\n\n\n GPU dan kapasitas inference dapat tetap aktif ketika tidak digunakan. Perusahaan perlu membandingkan apakah workload lebih tepat menggunakan API berbasis konsumsi, reserved capacity, serverless inference, atau infrastruktur khusus.<\/p>\n\n\n\n Pilihan termurah pada satu volume belum tentu tetap ekonomis ketika penggunaan berubah.<\/p>\n\n\n\n Biaya AI juga dapat berasal dari:<\/p>\n\n\n\n Karena itu, perhitungan tidak boleh hanya melihat harga token pada halaman provider.<\/p>\n\n\n\n Model routing mengarahkan setiap permintaan ke model yang sesuai berdasarkan kompleksitas, kualitas, latency, dan biaya.<\/p>\n\n\n\n Contohnya:<\/p>\n\n\n\n Microsoft menjelaskan bahwa model router dapat menggunakan model lebih kecil ketika kemampuannya mencukupi, kemudian memilih model lebih mahal untuk pekerjaan yang memerlukan reasoning lebih kompleks. Pendekatan tersebut membantu menyeimbangkan kualitas, latency, dan biaya.<\/p>\n\n\n\n Namun, model routing memerlukan evaluation.<\/p>\n\n\n\n Perusahaan perlu membuktikan bahwa penghematan biaya tidak menurunkan kualitas di bawah batas yang dapat diterima.<\/p>\n\n\n\n Perusahaan perlu mengetahui siapa yang menggunakan AI, melalui aplikasi apa, untuk use case mana, dan model apa yang dipanggil.<\/p>\n\n\n\n Setiap request idealnya memiliki metadata seperti:<\/p>\n\n\n\n Tanpa tagging dan attribution, tagihan hanya menunjukkan total konsumsi tanpa menjelaskan pemilik atau manfaatnya.<\/p>\n\n\n\n Biaya perlu dialokasikan ke unit yang relevan, misalnya:<\/p>\n\n\n\n Alokasi membantu perusahaan membedakan eksperimen yang masih dapat diterima dari sistem production yang harus menghasilkan nilai terukur.<\/p>\n\n\n\n Setelah sumber biaya terlihat, tim dapat menggunakan beberapa lever:<\/p>\n\n\n\n Optimasi tidak boleh dilakukan hanya berdasarkan biaya. Perubahan perlu diuji terhadap kualitas, keamanan, latency, dan hasil bisnis.<\/p>\n\n\n\n Perusahaan perlu menetapkan aturan penggunaan, seperti:<\/p>\n\n\n\n FinOps Foundation merekomendasikan governance API key, tagging, observability, unit cost metric, serta pendekatan bertahap untuk mengelola biaya token.<\/p>\n\n\n\n Metrik terpenting adalah cost per successful business outcome<\/strong>.<\/p>\n\n\n\n Biaya per request dapat terlihat murah, tetapi menjadi mahal jika sebagian besar output harus diperbaiki atau tidak digunakan.<\/p>\n\n\n\n Misalkan AI document processing digunakan untuk memeriksa 20.000 dokumen per bulan.<\/p>\n\n\n\n Total biaya AI dan infrastruktur: Rp40 juta.<\/p>\n\n\n\n Dari 20.000 dokumen:<\/p>\n\n\n\n Perhitungannya:<\/p>\n\n\n\n Biaya per dokumen berhasil = Rp40 juta \u00f7 18.000 = sekitar Rp2.222<\/strong><\/p>\n<\/blockquote>\n\n\n\n Nilai bersih awal = Rp120 juta \u2212 Rp40 juta = Rp80 juta<\/strong><\/p>\n<\/blockquote>\n\n\n\n Namun, perusahaan tetap perlu memasukkan biaya integrasi, human review, maintenance, dan risiko kesalahan untuk mendapatkan gambaran lifecycle yang lebih lengkap.<\/p>\n\n\n\n FinOps untuk AI bukan tentang menggunakan model termurah.<\/p>\n\n\n\n Tujuannya adalah memastikan setiap penggunaan AI menghasilkan keseimbangan yang tepat antara biaya, kualitas, kecepatan, keamanan, dan nilai bisnis.<\/p>\n\n\n\n Perusahaan perlu melihat lebih dari tagihan token. Biaya sesungguhnya mencakup model, data, retrieval, integrasi, infrastruktur, observability, human review, serta workflow yang dijalankan.<\/p>\n\n\n\n Fondasinya dimulai dari visibility, allocation, optimization, dan governance.<\/p>\n\n\n\n Setelah itu, perusahaan dapat menggunakan model routing, caching, context reduction, rate limiting, serta workflow boundary untuk mengendalikan konsumsi tanpa menurunkan kualitas.<\/p>\n\n\n\n AI yang murah tetapi tidak memberikan hasil tetap merupakan pemborosan.<\/p>\n\n\n\n AI yang relatif mahal dapat tetap layak apabila menyelesaikan proses bernilai tinggi secara akurat dan terukur.<\/p>\n\n\n\n Karena itu, metrik terbaik bukan hanya cost per token.<\/p>\n\n\n\n Metrik terbaik adalah biaya untuk menghasilkan satu outcome bisnis yang berhasil.<\/p>\n\n\n\n Crocodic membantu perusahaan merancang AI sebagai bagian dari sistem bisnis, bukan sebagai fitur yang berdiri sendiri.<\/p>\n\n\n\n Melalui layanan Enterprise System Upgrade<\/a>, Crocodic dapat menambahkan AI assistant, workflow automation, predictive analytics, serta integrasi lintas sistem pada aplikasi yang sudah berjalan tanpa selalu membangunnya kembali dari awal.<\/p>\n\n\n\n Untuk kebutuhan sistem inti baru, Crocodic menyediakan layanan Custom Enterprise Software<\/a> yang disesuaikan dengan workflow, data, hak akses, dan target bisnis perusahaan.<\/p>\n\n\n\n Arsitektur AI dapat dirancang dengan model selection, routing, access control, observability, dan penggunaan resource yang disesuaikan dengan setiap proses. Dengan demikian, perusahaan tidak hanya mengetahui bahwa AI bekerja, tetapi juga dapat mengukur berapa biayanya dan nilai apa yang dihasilkan.<\/p>\n\n\n\n\n
\n
Kenapa Biaya AI Berbeda dari Software Biasa?<\/h2>\n\n\n\n
\n
Token Bukan Nilai Bisnis<\/h2>\n\n\n\n
Metrik konsumsi<\/h3>\n\n\n\n
\n
Metrik nilai<\/h3>\n\n\n\n
\n
Biaya AI yang Sering Tidak Terlihat<\/h2>\n\n\n\n
1. Penggunaan Model yang Terlalu Mahal<\/h3>\n\n\n\n
2. Context yang Terlalu Panjang<\/h3>\n\n\n\n
3. Agent Menjalankan Terlalu Banyak Langkah<\/h3>\n\n\n\n
\n
4. Proof of Concept Tidak Pernah Dihentikan<\/h3>\n\n\n\n
5. Infrastruktur yang Menganggur<\/h3>\n\n\n\n
6. Biaya Data dan Operasional<\/h3>\n\n\n\n
\n
Model Routing sebagai Strategi Efisiensi<\/h2>\n\n\n\n
\n
Kerangka FinOps untuk AI<\/h2>\n\n\n\n
1. Visibility<\/h3>\n\n\n\n
\n
2. Allocation<\/h3>\n\n\n\n
\n
3. Optimization<\/h3>\n\n\n\n
\n
4. Governance<\/h3>\n\n\n\n
\n
Metrik yang Perlu Dipantau<\/h2>\n\n\n\n
Metrik<\/th> Fungsi<\/th><\/tr><\/thead> Cost per token<\/td> Membandingkan konsumsi model<\/td><\/tr> Cost per request<\/td> Menilai biaya interaksi<\/td><\/tr> Cost per active user<\/td> Mengukur efisiensi penggunaan<\/td><\/tr> Cost per workflow<\/td> Menilai biaya proses end-to-end<\/td><\/tr> Cost per successful outcome<\/td> Memisahkan request berhasil dan gagal<\/td><\/tr> Tokens per workflow<\/td> Menemukan context atau proses berlebihan<\/td><\/tr> Retry rate<\/td> Mengidentifikasi pemborosan akibat kegagalan<\/td><\/tr> Human override rate<\/td> Menilai kualitas dan risiko<\/td><\/tr> Model distribution<\/td> Melihat penggunaan model murah dan premium<\/td><\/tr> Budget variance<\/td> Membandingkan aktual dengan forecast<\/td><\/tr> Business value generated<\/td> Menghubungkan biaya dengan hasil<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n Contoh Perhitungan Sederhana<\/h2>\n\n\n\n
\n
\n
\n
Checklist Implementasi FinOps untuk AI<\/h2>\n\n\n\n
Area<\/th> Pertanyaan utama<\/th><\/tr><\/thead> Use case<\/td> Apa hasil bisnis yang ingin dicapai?<\/td><\/tr> Ownership<\/td> Siapa pemilik biaya dan performa AI?<\/td><\/tr> Visibility<\/td> Apakah penggunaan dapat dilihat per proyek dan workflow?<\/td><\/tr> Allocation<\/td> Apakah biaya dapat dialokasikan ke divisi atau produk?<\/td><\/tr> Model<\/td> Apakah seluruh tugas membutuhkan model premium?<\/td><\/tr> Context<\/td> Apakah informasi yang dikirim benar-benar relevan?<\/td><\/tr> Workflow<\/td> Apakah agent memiliki batas langkah dan biaya?<\/td><\/tr> Evaluation<\/td> Apakah optimasi diuji terhadap kualitas?<\/td><\/tr> Budget<\/td> Apakah terdapat quota, alert, dan forecast?<\/td><\/tr> Value<\/td> Apakah biaya dibandingkan dengan outcome bisnis?<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n Kesimpulan<\/h2>\n\n\n\n
Bangun AI yang Efisien Bersama Crocodic<\/h2>\n\n\n\n