FinOps untuk AI: Cara Mengendalikan Biaya Pengembangan AI

Biaya artificial intelligence sering terlihat sederhana saat perusahaan masih berada pada tahap eksperimen.

Tim memilih model, memasukkan sejumlah kredit, lalu menjalankan beberapa ratus permintaan. Biayanya terlihat kecil dibandingkan manfaat yang dijanjikan.

Masalah mulai muncul ketika AI digunakan oleh ratusan pengguna, membaca dokumen dalam jumlah besar, terhubung dengan beberapa sistem, atau menjalankan workflow secara berulang.

Satu permintaan pengguna dapat memicu:

• Pencarian pada vector database.
• Pengambilan beberapa dokumen.
• Pemanggilan model klasifikasi.
• Pemanggilan model generatif.
• Penggunaan tools atau API.
• Validasi output.
• Penyimpanan log dan audit trail.
• Pengulangan proses ketika terjadi kegagalan.

Perusahaan akhirnya tidak hanya membayar satu jawaban AI. Perusahaan membayar seluruh rangkaian sistem yang menghasilkan jawaban atau tindakan tersebut.

Inilah alasan perusahaan membutuhkan FinOps untuk AI.

FinOps bukan sekadar aktivitas mengurangi tagihan teknologi. FinOps Foundation mendefinisikannya sebagai kerangka operasional dan praktik budaya untuk memaksimalkan nilai bisnis teknologi melalui kolaborasi engineering, finance, dan business. Dalam konteks AI, fokusnya adalah memahami hubungan antara penggunaan, biaya, kualitas, dan hasil bisnis. (FinOps Foundation)

Pertanyaan utamanya bukan:

“Berapa banyak token yang digunakan?”

Melainkan:

“Berapa biaya yang dibutuhkan AI untuk menyelesaikan satu proses bisnis dan apakah hasilnya sepadan?”

Kenapa Biaya AI Berbeda dari Software Biasa?

Software tradisional sering memiliki struktur biaya yang relatif mudah diperkirakan.

Perusahaan membeli lisensi berdasarkan jumlah pengguna, menyewa server dengan kapasitas tertentu, atau membayar biaya langganan bulanan.

AI memperkenalkan lebih banyak variabel.

Biaya dapat berubah berdasarkan:

• Panjang input.
• Panjang output.
• Model yang digunakan.
• Jumlah dokumen yang diambil.
• Frekuensi request.
• Jumlah langkah agent.
• Penggunaan tools eksternal.
• Penyimpanan embedding.
• Infrastruktur inference.
• Logging dan observability.
• Retry akibat output gagal.
• Volume pengguna dan transaksi.

Dua pengguna yang menjalankan fitur sama dapat menghasilkan biaya berbeda jika konteks, dokumen, atau kompleksitas permintaannya berbeda.

Microsoft mencatat bahwa biaya workload AI dapat berubah berdasarkan panjang konteks, kedalaman retrieval, dan model yang dipilih. Artinya, jumlah pengguna saja tidak cukup untuk memprediksi tagihan AI. (Microsoft Learn)

Token Bukan Nilai Bisnis

Token merupakan unit yang digunakan model untuk memproses input dan menghasilkan output.

Token penting karena membantu perusahaan mengukur konsumsi. Namun, token tidak menjelaskan apakah AI memberikan nilai.

Sepuluh ribu token dapat menghasilkan laporan penting yang menghemat beberapa jam kerja. Jumlah yang sama juga dapat habis untuk percakapan berulang yang tidak pernah digunakan.

FinOps Foundation menyebut token sebagai salah satu unit konkret untuk menghitung biaya AI, tetapi organisasi tetap perlu menerjemahkannya ke metrik yang dipahami bisnis, seperti biaya per query, pengguna, atau workflow.

Karena itu, perusahaan sebaiknya menggunakan dua lapisan metrik.

Metrik konsumsi

• Input token.
• Output token.
• Jumlah request.
• Durasi inference.
• Jumlah tool call.
• Kapasitas GPU.
• Vector storage.
• Biaya per model.

Metrik nilai

• Biaya per dokumen yang diproses.
• Biaya per ticket yang diselesaikan.
• Biaya per laporan yang dibuat.
• Biaya per approval yang dipercepat.
• Biaya per pelanggan yang dilayani.
• Biaya per workflow yang selesai.
• Penghematan waktu pengguna.
• Penurunan kesalahan.
• Peningkatan conversion atau kapasitas.

Metrik konsumsi menjelaskan ke mana uang digunakan. Metrik nilai menjelaskan apakah penggunaan tersebut layak dilanjutkan.

Biaya AI yang Sering Tidak Terlihat

1. Penggunaan Model yang Terlalu Mahal

Tim sering memilih model dengan kemampuan tertinggi untuk seluruh tugas.

Padahal, tidak semua pekerjaan membutuhkan reasoning yang kompleks.

Klasifikasi dokumen, ekstraksi field, moderasi, atau routing permintaan mungkin dapat dilakukan oleh model yang lebih kecil. Model besar kemudian digunakan hanya ketika permintaan membutuhkan konteks atau reasoning lebih dalam.

AWS merekomendasikan pemilihan model berdasarkan kebutuhan performa, akurasi, dan biaya. Pendekatan multi-model memungkinkan setiap tahapan workflow menggunakan model yang paling sesuai. (AWS)

2. Context yang Terlalu Panjang

Semakin banyak informasi yang dikirimkan ke model, semakin tinggi konsumsi token.

Tim dapat memasukkan seluruh histori percakapan, dokumen lengkap, atau data yang sebenarnya tidak relevan.

Masalah tersebut sering terjadi pada aplikasi retrieval-augmented generation atau RAG. Sistem mengambil terlalu banyak dokumen karena tidak memiliki filtering, ranking, atau chunking yang baik.

Mengirim lebih banyak konteks tidak selalu meningkatkan kualitas. Informasi yang tidak relevan dapat menambah biaya sekaligus membingungkan model.

3. Agent Menjalankan Terlalu Banyak Langkah

AI agent dapat merencanakan tindakan, memanggil tools, mengevaluasi hasil, lalu mencoba kembali.

Tanpa batas yang jelas, satu permintaan dapat berkembang menjadi banyak iterasi.

AWS menekankan pentingnya workflow boundary dan stopping condition untuk mencegah proses generative AI terus mengonsumsi sumber daya setelah manfaatnya tidak lagi bertambah.

Perusahaan perlu menetapkan:

• Jumlah langkah maksimum.
• Jumlah retry.
• Batas tool call.
• Batas waktu eksekusi.
• Nilai transaksi maksimum.
• Kondisi eskalasi ke manusia.
• Batas biaya per workflow.

4. Proof of Concept Tidak Pernah Dihentikan

Perusahaan dapat memiliki banyak eksperimen AI yang dibuat oleh divisi berbeda.

Setiap eksperimen menggunakan API key, provider, database, dan dashboard sendiri. Setelah pilot selesai, resource tetap aktif karena tidak ada owner yang menutupnya.

Masalah ini membuat pengeluaran AI tersebar dan sulit dialokasikan.

5. Infrastruktur yang Menganggur

Untuk model yang dijalankan sendiri, biaya tidak hanya muncul saat request diproses.

GPU dan kapasitas inference dapat tetap aktif ketika tidak digunakan. Perusahaan perlu membandingkan apakah workload lebih tepat menggunakan API berbasis konsumsi, reserved capacity, serverless inference, atau infrastruktur khusus.

Pilihan termurah pada satu volume belum tentu tetap ekonomis ketika penggunaan berubah.

6. Biaya Data dan Operasional

Biaya AI juga dapat berasal dari:

• Data cleansing.
• Data migration.
• Embedding.
• Vector database.
• Penyimpanan dokumen.
• Network egress.
• Monitoring.
• Evaluation.
• Security testing.
• Human review.
• Maintenance integrasi.
• Perubahan model dan prompt.

Karena itu, perhitungan tidak boleh hanya melihat harga token pada halaman provider.

Model Routing sebagai Strategi Efisiensi

Model routing mengarahkan setiap permintaan ke model yang sesuai berdasarkan kompleksitas, kualitas, latency, dan biaya.

Contohnya:

1. Model kecil mengklasifikasikan permintaan.
2. Permintaan sederhana dijawab model ekonomis.
3. Permintaan kompleks diteruskan ke model yang lebih kuat.
4. Permintaan berisiko memerlukan human review.

Microsoft menjelaskan bahwa model router dapat menggunakan model lebih kecil ketika kemampuannya mencukupi, kemudian memilih model lebih mahal untuk pekerjaan yang memerlukan reasoning lebih kompleks. Pendekatan tersebut membantu menyeimbangkan kualitas, latency, dan biaya.

Namun, model routing memerlukan evaluation.

Perusahaan perlu membuktikan bahwa penghematan biaya tidak menurunkan kualitas di bawah batas yang dapat diterima.

Kerangka FinOps untuk AI

1. Visibility

Perusahaan perlu mengetahui siapa yang menggunakan AI, melalui aplikasi apa, untuk use case mana, dan model apa yang dipanggil.

Setiap request idealnya memiliki metadata seperti:

• Divisi.
• Produk.
• Environment.
• Use case.
• Pengguna atau tenant.
• Model.
• Workflow.
• Project owner.

Tanpa tagging dan attribution, tagihan hanya menunjukkan total konsumsi tanpa menjelaskan pemilik atau manfaatnya.

2. Allocation

Biaya perlu dialokasikan ke unit yang relevan, misalnya:

• Cost center.
• Produk.
• Divisi.
• Proyek.
• Pelanggan.
• Workflow.
• Environment development atau production.

Alokasi membantu perusahaan membedakan eksperimen yang masih dapat diterima dari sistem production yang harus menghasilkan nilai terukur.

3. Optimization

Setelah sumber biaya terlihat, tim dapat menggunakan beberapa lever:

• Model selection.
• Model routing.
• Prompt optimization.
• Context reduction.
• Caching.
• Batching.
• Retrieval filtering.
• Rate limiting.
• GPU right-sizing.
• Workflow boundary.
• Penghapusan resource tidak aktif.

Optimasi tidak boleh dilakukan hanya berdasarkan biaya. Perubahan perlu diuji terhadap kualitas, keamanan, latency, dan hasil bisnis.

4. Governance

Perusahaan perlu menetapkan aturan penggunaan, seperti:

• Siapa yang boleh membuat API key.
• Provider dan model yang diperbolehkan.
• Batas anggaran setiap proyek.
• Data yang boleh dikirim.
• Masa berlaku eksperimen.
• Proses persetujuan production.
• Alert ketika biaya meningkat.
• Tindakan ketika budget terlampaui.

FinOps Foundation merekomendasikan governance API key, tagging, observability, unit cost metric, serta pendekatan bertahap untuk mengelola biaya token.

Metrik yang Perlu Dipantau

Metrik terpenting adalah cost per successful business outcome.

Biaya per request dapat terlihat murah, tetapi menjadi mahal jika sebagian besar output harus diperbaiki atau tidak digunakan.

Contoh Perhitungan Sederhana

Misalkan AI document processing digunakan untuk memeriksa 20.000 dokumen per bulan.

Total biaya AI dan infrastruktur: Rp40 juta.

Dari 20.000 dokumen:

• 18.000 berhasil diproses.
• 2.000 membutuhkan pemeriksaan ulang.
• Sistem menghemat 1.200 jam kerja.
• Nilai waktu kerja yang dihemat adalah Rp120 juta.

Perhitungannya:

Biaya per dokumen berhasil = Rp40 juta ÷ 18.000 = sekitar Rp2.222

Nilai bersih awal = Rp120 juta − Rp40 juta = Rp80 juta

Namun, perusahaan tetap perlu memasukkan biaya integrasi, human review, maintenance, dan risiko kesalahan untuk mendapatkan gambaran lifecycle yang lebih lengkap.

Checklist Implementasi FinOps untuk AI

Kesimpulan

FinOps untuk AI bukan tentang menggunakan model termurah.

Tujuannya adalah memastikan setiap penggunaan AI menghasilkan keseimbangan yang tepat antara biaya, kualitas, kecepatan, keamanan, dan nilai bisnis.

Perusahaan perlu melihat lebih dari tagihan token. Biaya sesungguhnya mencakup model, data, retrieval, integrasi, infrastruktur, observability, human review, serta workflow yang dijalankan.

Fondasinya dimulai dari visibility, allocation, optimization, dan governance.

Setelah itu, perusahaan dapat menggunakan model routing, caching, context reduction, rate limiting, serta workflow boundary untuk mengendalikan konsumsi tanpa menurunkan kualitas.

AI yang murah tetapi tidak memberikan hasil tetap merupakan pemborosan.

AI yang relatif mahal dapat tetap layak apabila menyelesaikan proses bernilai tinggi secara akurat dan terukur.

Karena itu, metrik terbaik bukan hanya cost per token.

Metrik terbaik adalah biaya untuk menghasilkan satu outcome bisnis yang berhasil.

Bangun AI yang Efisien Bersama Crocodic

Crocodic membantu perusahaan merancang AI sebagai bagian dari sistem bisnis, bukan sebagai fitur yang berdiri sendiri.

Melalui layanan Enterprise System Upgrade, Crocodic dapat menambahkan AI assistant, workflow automation, predictive analytics, serta integrasi lintas sistem pada aplikasi yang sudah berjalan tanpa selalu membangunnya kembali dari awal.

Untuk kebutuhan sistem inti baru, Crocodic menyediakan layanan Custom Enterprise Software yang disesuaikan dengan workflow, data, hak akses, dan target bisnis perusahaan.

Arsitektur AI dapat dirancang dengan model selection, routing, access control, observability, dan penggunaan resource yang disesuaikan dengan setiap proses. Dengan demikian, perusahaan tidak hanya mengetahui bahwa AI bekerja, tetapi juga dapat mengukur berapa biayanya dan nilai apa yang dihasilkan.

Diskusikan strategi implementasi dan pengendalian biaya AI perusahaan Anda bersama Crocodic.