Data Quality untuk AI: Kenapa Model Bagus Tetap Gagal?

Perusahaan dapat menggunakan model artificial intelligence terbaru, memiliki infrastruktur cloud yang kuat, dan membangun antarmuka yang terlihat meyakinkan. Namun, hasil AI tetap dapat salah, tidak konsisten, atau sulit dipercaya ketika data yang digunakan tidak memiliki kualitas yang memadai.

AI assistant dapat memberikan kebijakan perusahaan yang sudah tidak berlaku. Sistem forecasting dapat membuat prediksi berdasarkan transaksi duplikat. Model deteksi risiko dapat memberikan hasil yang tidak seimbang karena data hanya mewakili sebagian kondisi operasional.

Dalam situasi tersebut, masalahnya belum tentu berada pada model.

Masalahnya dapat berasal dari data yang tidak lengkap, terlambat diperbarui, memiliki definisi berbeda, tidak mewakili kondisi aktual, atau diakses tanpa konteks yang benar.

Inilah alasan data quality untuk AI perlu menjadi bagian utama dari implementasi AI enterprise.

Data quality untuk AI adalah tingkat kesesuaian data untuk digunakan dalam proses pengembangan, evaluasi, dan pengoperasian sistem AI. IBM mendefinisikannya melalui unsur seperti akurasi, kelengkapan, reliabilitas, dan kesesuaian data dengan tujuan penggunaannya.

Prinsip terpentingnya adalah:

Data yang berkualitas bukan sekadar data yang bersih, tetapi data yang tepat untuk keputusan atau proses yang akan didukung AI.

Kenapa Model yang Bagus Tetap Dapat Gagal?

Model AI bekerja berdasarkan pola dan konteks yang tersedia pada data.

Model tidak mengetahui bahwa data penjualan dari satu cabang belum masuk. Model tidak otomatis memahami bahwa kode “A” memiliki arti berbeda pada dua aplikasi. Model juga tidak dapat menebak bahwa dokumen yang ditemukan sudah digantikan kebijakan baru apabila metadata dan versinya tidak jelas.

Masalah kualitas data dapat muncul pada beberapa tahap:

• Data yang digunakan untuk melatih atau menyesuaikan model.
• Data yang digunakan untuk mengevaluasi kualitas hasil.
• Data yang diberikan saat pengguna menjalankan AI.
• Dokumen yang digunakan dalam sistem retrieval-augmented generation.
• Data transaksi yang digunakan untuk forecasting.
• Feedback pengguna yang digunakan untuk meningkatkan sistem.
• Data yang dikirim dari aplikasi dan integrasi lain.

Riset Google berjudul Data Cascades in High-Stakes AI menunjukkan bahwa masalah data dapat menciptakan efek berantai pada proses AI. Kesalahan yang terlihat kecil pada tahap pengumpulan atau pelabelan dapat memengaruhi evaluasi, deployment, dan keputusan setelah sistem digunakan.

Efek tersebut sering tidak langsung terlihat. Sistem mungkin berhasil melewati demo dan pilot, tetapi mulai menghasilkan masalah ketika digunakan pada data aktual dengan volume, variasi, dan kondisi yang lebih kompleks.

Tujuh Dimensi Data Quality untuk AI

1. Accuracy

Data harus menggambarkan kondisi yang sebenarnya.

Contohnya, alamat pelanggan, nilai transaksi, kategori produk, dan status pembayaran harus sesuai dengan kondisi operasional.

Jika data dasarnya salah, AI dapat menghasilkan analisis yang terlihat logis tetapi didasarkan pada fakta yang keliru.

2. Completeness

Data perlu memiliki atribut yang cukup untuk mendukung use case.

Sistem prediksi keterlambatan pengiriman, misalnya, mungkin membutuhkan informasi tujuan, jenis barang, metode pengiriman, kapasitas armada, dan histori keterlambatan.

Dataset dapat memiliki jutaan record, tetapi tetap tidak lengkap jika variabel penting tidak tersedia.

3. Consistency

Data yang sama harus memiliki arti yang seragam di berbagai sistem.

Istilah “pelanggan aktif” dapat berarti pernah membeli dalam 30 hari bagi tim marketing, tetapi berarti memiliki kontrak berjalan bagi finance.

Jika definisinya tidak disepakati, AI akan menggabungkan data yang sebenarnya memiliki makna berbeda.

4. Timeliness

Data harus tersedia pada waktu yang sesuai dengan kebutuhan.

Data stok yang diperbarui satu hari sekali mungkin cukup untuk laporan manajemen, tetapi tidak cukup untuk AI yang memberikan rekomendasi pemenuhan pesanan secara real-time.

Data yang akurat tetapi terlambat tetap dapat menghasilkan keputusan yang salah.

5. Uniqueness

Satu entitas sebaiknya tidak tercatat sebagai beberapa identitas tanpa alasan yang jelas.

Pelanggan yang sama dapat tercatat beberapa kali karena perbedaan penulisan nama, email, nomor telepon, atau sistem asal.

Duplikasi dapat membuat AI melebihkan jumlah pelanggan, transaksi, atau tingkat aktivitas.

6. Validity

Data perlu mengikuti format, tipe, rentang, dan aturan yang telah ditentukan.

Tanggal pengiriman tidak boleh lebih awal dari tanggal pemesanan. Nilai diskon perlu berada dalam rentang yang valid. Kode cabang harus tersedia pada master data.

Validity membantu mendeteksi data yang secara struktur dapat disimpan, tetapi secara bisnis tidak masuk akal.

7. Representativeness

Data harus cukup mewakili kondisi tempat AI akan digunakan.

Dataset yang hanya berasal dari satu wilayah, produk, kelompok pengguna, atau periode tertentu dapat menghasilkan performa buruk saat sistem digunakan pada kondisi berbeda.

Representativeness sangat penting ketika AI digunakan untuk rekomendasi, klasifikasi, prediksi risiko, atau keputusan yang memengaruhi banyak kelompok pengguna.

NIST AI Risk Management Framework mengingatkan bahwa bias dan masalah kualitas data dapat memengaruhi tingkat kepercayaan terhadap sistem AI serta menimbulkan dampak negatif pada organisasi dan pengguna.

Dampak Masalah Data terhadap Sistem AI

Masalah tersebut menunjukkan bahwa data quality tidak hanya berkaitan dengan akurasi model.

Data quality juga memengaruhi keamanan, kepatuhan, pengalaman pengguna, dan kepercayaan terhadap AI.

Data Terstruktur dan Tidak Terstruktur Memiliki Risiko Berbeda

Data terstruktur meliputi database transaksi, CRM, ERP, inventori, dan tabel operasional.

Masalah yang umum ditemukan antara lain duplikasi, field kosong, referensi yang rusak, serta definisi yang tidak konsisten.

Data tidak terstruktur mencakup dokumen, email, proposal, laporan, gambar, rekaman, dan percakapan.

Masalahnya dapat berupa:

• Dokumen tanpa tanggal atau versi.
• File dengan isi serupa.
• Kebijakan lama yang belum diarsipkan.
• Dokumen tanpa klasifikasi.
• Scan yang sulit dibaca.
• Hak akses yang tidak terbawa ke sistem AI.
• Informasi penting yang hanya tersedia dalam gambar.
• Dokumen tanpa informasi pemilik.

Untuk AI assistant internal, jumlah dokumen bukan satu-satunya penentu kualitas. Sistem juga harus mengetahui dokumen mana yang berlaku, siapa yang boleh mengaksesnya, dan sumber mana yang harus diprioritaskan.

Artikel Crocodic mengenai kualitas data yang diabaikan dalam proyek AI membahas pentingnya membangun fondasi data sebelum perusahaan memperluas implementasi AI.

Kesalahan Umum Perusahaan dalam Menyiapkan Data AI

Mengumpulkan Semua Data tanpa Use Case

Lebih banyak data tidak selalu menghasilkan AI yang lebih baik.

Data yang tidak relevan dapat menambah noise, meningkatkan biaya, memperbesar risiko keamanan, dan menyulitkan evaluasi.

Perusahaan perlu memulai dari use case dan menentukan data yang benar-benar dibutuhkan.

Membersihkan Data Sekali di Awal

Data quality bukan proyek satu kali.

Setelah sistem digunakan, data baru terus masuk dari pengguna, perangkat, integrasi, dan aplikasi lain. Kualitasnya dapat menurun kembali jika tidak tersedia validation dan monitoring.

Tidak Menentukan Data Owner

Tim IT dapat menjaga infrastruktur, tetapi belum tentu memahami definisi bisnis dari setiap data.

Setiap domain data memerlukan owner yang dapat menentukan arti, aturan, sumber utama, dan standar kualitasnya.

Menganggap AI Dapat Memperbaiki Data Secara Otomatis

AI dapat membantu menemukan anomali, mengelompokkan data, dan menyarankan perbaikan.

Namun, keputusan mengenai apakah dua pelanggan merupakan orang yang sama atau kebijakan mana yang masih berlaku tetap membutuhkan aturan dan validasi bisnis.

Tidak Memisahkan Sumber Utama dan Salinan

Data yang sama sering tersedia pada beberapa aplikasi.

Tanpa single source of truth atau aturan prioritas, sistem AI dapat mengambil versi yang berbeda pada waktu berbeda.

Masalah ini berkaitan dengan silo dan kegagalan integrasi. Artikel Mengatasi Silo Data menjelaskan pentingnya menyatukan aliran informasi tanpa harus memindahkan seluruh data secara sembarangan.

Cara Membangun Data Quality untuk AI

1. Tentukan Use Case dan Keputusan yang Didukung

Jelaskan proses apa yang akan dibantu AI, siapa penggunanya, serta risiko jika hasilnya salah.

Data untuk chatbot FAQ tentu memiliki kebutuhan berbeda dengan data untuk rekomendasi kredit atau forecasting produksi.

2. Buat Data Inventory

Petakan sumber data, format, owner, volume, frekuensi pembaruan, tingkat sensitivitas, dan cara aksesnya.

Inventory membantu perusahaan menemukan dependency dan data yang belum terdokumentasi.

3. Tentukan Critical Data Elements

Tidak semua field memiliki tingkat kepentingan yang sama.

Prioritaskan data yang paling memengaruhi hasil AI, misalnya:

• Status transaksi.
• Identitas pelanggan.
• Nilai pembayaran.
• Tanggal dan waktu.
• Kategori produk.
• Dokumen kebijakan.
• Label klasifikasi.
• Hak akses.

4. Lakukan Data Profiling

Ukur kondisi aktual melalui:

• Persentase field kosong.
• Jumlah duplikasi.
• Format yang tidak valid.
• Distribusi nilai.
• Data yang tidak memiliki relasi.
• Data yang tidak diperbarui.
• Anomali dan outlier.

Data profiling memberikan baseline sebelum cleansing dilakukan.

5. Terapkan Rules dan Validation

Validation sebaiknya dilakukan saat data masuk, bukan hanya setelah masalah ditemukan.

Aturan dapat mencakup format, field wajib, referensi master data, range nilai, dan hubungan antar-field.

6. Bangun Data Lineage

Data lineage menunjukkan dari mana data berasal, proses apa yang mengubahnya, dan sistem mana yang menggunakannya.

Lineage membantu tim menelusuri penyebab ketika hasil AI berubah atau data bermasalah.

7. Uji Menggunakan Data Aktual yang Representatif

Evaluasi harus menggunakan variasi kondisi yang mendekati production, termasuk kasus normal, edge case, data tidak lengkap, dan kelompok pengguna berbeda.

Dataset evaluasi juga perlu dijaga agar tidak tercampur dengan data yang digunakan untuk mengembangkan solusi.

8. Pantau Kualitas Setelah Go-Live

Perusahaan perlu memantau:

• Perubahan distribusi data.
• Penurunan completeness.
• Peningkatan duplikasi.
• Data yang terlambat.
• Sumber yang tidak tersedia.
• Perubahan format.
• Kualitas jawaban AI.
• Jumlah koreksi pengguna.
• Human override.

Data dan proses bisnis berubah. Karena itu, kualitas AI harus dievaluasi secara berkelanjutan.

Metrik Data Quality yang Dapat Digunakan

Target setiap metrik perlu disesuaikan dengan dampak bisnis.

Data untuk rekomendasi konten dapat memiliki toleransi berbeda dibandingkan data untuk keuangan, kesehatan, keamanan, atau kepatuhan.

Kesimpulan

Model yang canggih tidak dapat mengompensasi data yang tidak sesuai dengan tujuan penggunaannya.

Data quality untuk AI mencakup akurasi, kelengkapan, konsistensi, ketepatan waktu, keunikan, validitas, dan representasi kondisi nyata.

Perusahaan perlu memperlakukan data sebagai bagian dari sistem AI, bukan sekadar bahan yang disiapkan sekali sebelum model dikembangkan.

Fondasinya dimulai dari use case yang jelas, data inventory, ownership, profiling, validation, lineage, evaluation, dan monitoring berkelanjutan.

AI yang dapat dipercaya bukan hanya hasil dari model yang baik.

AI yang dapat dipercaya berasal dari kombinasi model, data, proses, integrasi, dan governance yang bekerja secara konsisten.

Siapkan Data dan Sistem AI Bersama Crocodic

Crocodic membantu perusahaan menyiapkan fondasi sistem dan data sebelum AI diterapkan ke dalam proses operasional.

Melalui layanan Enterprise System Upgrade, sistem yang sudah berjalan dapat diperkuat melalui integrasi API, penyatuan aliran data, multi-user access, dan AI automation tanpa harus selalu dibangun ulang dari awal.

Untuk kebutuhan sistem baru, Crocodic menyediakan layanan Custom Enterprise Software yang disesuaikan dengan workflow, struktur data, hak akses, integrasi, dan target pertumbuhan perusahaan.

Proses dimulai dengan strategic discovery untuk mengidentifikasi use case, sumber data, kualitas data, dependency, serta risiko yang perlu dikendalikan sebelum solusi AI dikembangkan.

Jika perusahaan Anda ingin membangun internal AI assistant, forecasting, document automation, predictive analytics, atau workflow berbasis AI, jangan hanya mengevaluasi model yang akan digunakan.

Evaluasi juga apakah data yang dimiliki sudah cukup akurat, lengkap, terintegrasi, dan dapat dipercaya.

Diskusikan kesiapan data dan sistem AI perusahaan Anda bersama Crocodic.