Masalah AI Bukan Hallucination - Tetapi Overtrust

Pada artikel sebelumnya, kita telah membahas bagaimana Developing with AI mengubah cara seorang developer bekerja. AI dapat membantu menulis kode, mencari bug, menjelaskan konsep, hingga mengeksplorasi berbagai kemungkinan solusi. Namun, satu prinsip tetap harus dipertahankan: AI adalah assistant, bukan pengganti developer.

Tetapi setelah kita menerima prinsip tersebut, muncul pertanyaan yang lebih menarik: mengapa masih begitu mudah bagi manusia untuk mempercayai jawaban AI, bahkan ketika kita tahu bahwa AI bisa salah?

Masalahnya bukan semata-mata karena AI mengalami hallucination. AI memang dapat menghasilkan informasi atau kode yang terdengar meyakinkan tetapi sebenarnya keliru. LLM bekerja dengan mempelajari pola dan menghasilkan keluaran berdasarkan pola tersebut, bukan dengan menjamin bahwa setiap jawaban yang diberikan adalah sebuah fakta yang benar. Karena itu, keluaran AI memang perlu diverifikasi.

Namun, sebuah kesalahan AI baru menjadi masalah serius ketika manusia memperlakukannya sebagai sesuatu yang tidak perlu dipertanyakan. 

Di sinilah kita berhadapan dengan masalah yang jauh lebih menarik: overtrust.
Ketika Jawaban yang Meyakinkan Terlihat Seperti Jawaban yang Benar

Bayangkan seorang developer sedang mengalami error pada sebuah aplikasi. Ia memberikan pesan error tersebut kepada AI dan mendapatkan sebuah penjelasan yang terlihat sangat masuk akal, lengkap dengan potongan kode dan alasan mengapa solusi tersebut seharusnya bekerja.

Developer kemudian menyalin kode tersebut, menjalankannya, dan ternyata berhasil. 
Pada titik itu, sangat mudah untuk menyimpulkan bahwa AI telah memberikan solusi yang benar. 
Padahal, “berhasil” dan “benar” adalah dua hal yang berbeda.

Sebuah solusi mungkin berhasil menyelesaikan error tertentu tetapi sekaligus memperkenalkan masalah lain. Sebuah fungsi mungkin menghasilkan output yang sesuai pada satu kondisi tetapi gagal pada kondisi lain. Bahkan sebuah nama fungsi atau API yang terdengar masuk akal bisa saja sebenarnya tidak tersedia pada versi library yang digunakan.

Modul Developing with AI sendiri menekankan bahwa keluaran LLM dapat terdengar meyakinkan meskipun sebenarnya salah. Hal tersebut merupakan konsekuensi dari cara LLM menghasilkan keluaran berdasarkan pola, sehingga verifikasi tetap menjadi bagian dari tanggung jawab developer.

Masalahnya kemudian bukan lagi sekadar, “Apakah AI bisa salah?”
Jawabannya jelas: bisa.
Pertanyaan yang jauh lebih penting adalah:
“Apa yang dilakukan manusia ketika AI terdengar sangat yakin?”
Overtrust: Ketika Kepercayaan Melebihi Kemampuan Sistem

Dalam penelitian mengenai trust in automation, John D. Lee dan Katrina A. See menjelaskan bahwa persoalan utama dalam penggunaan otomasi bukan hanya apakah sebuah sistem dapat dipercaya, tetapi apakah manusia memberikan tingkat kepercayaan yang tepat kepada sistem tersebut.

Mereka menggunakan istilah appropriate reliance untuk menggambarkan kondisi ketika manusia menggunakan otomasi sesuai dengan kemampuan dan keterbatasannya. Terlalu sedikit kepercayaan dapat membuat manusia mengabaikan bantuan yang sebenarnya berguna. Sebaliknya, terlalu banyak kepercayaan dapat menyebabkan manusia menerima keluaran sistem tanpa pengawasan yang memadai.

Konsep ini sangat relevan ketika diterapkan pada AI coding assistant.

AI yang menghasilkan kode dengan sangat cepat secara tidak langsung membangun persepsi bahwa AI juga sangat memahami apa yang sedang dikerjakan. Padahal, kecepatan menghasilkan jawaban tidak sama dengan kemampuan memahami konteks.

AI dapat memberikan jawaban yang sangat panjang, terstruktur, dan percaya diri. Ia bahkan dapat menjelaskan alasan di balik sebuah solusi dengan cara yang terdengar sangat profesional. Tetapi semua itu tidak otomatis membuat solusi tersebut benar.

Inilah salah satu jebakan terbesar dalam bekerja dengan AI: kita sering menilai kualitas jawaban dari seberapa meyakinkan jawaban tersebut terdengar, bukan dari seberapa kuat bukti yang mendukungnya.

Otak Manusia Memang Mudah Percaya pada Cerita yang Koheren
Menariknya, kecenderungan tersebut bukan sesuatu yang baru muncul karena AI.

Jauh sebelum generative AI hadir, Daniel Kahneman dan Amos Tversky telah menunjukkan bahwa manusia menggunakan berbagai heuristic ketika mengambil keputusan dalam kondisi yang kompleks dan penuh ketidakpastian. Penelitian Kahneman mengenai heuristics and biases menunjukkan bagaimana manusia dapat mengambil kesimpulan berdasarkan informasi yang tersedia tanpa benar-benar mempertimbangkan seluruh informasi yang mungkin relevan.

Kahneman kemudian memperkenalkan konsep What You See Is All There Is atau WYSIATI. Secara sederhana, manusia memiliki kecenderungan untuk membangun cerita yang masuk akal dari informasi yang tersedia, meskipun informasi tersebut belum tentu lengkap.

Ia bahkan menggambarkan kecenderungan tersebut sebagai sebuah “machine for jumping to conclusions.” Yang lebih menarik, menurut Kahneman, tingkat keyakinan seseorang terhadap sebuah kesimpulan tidak selalu mencerminkan kualitas bukti yang tersedia, melainkan bisa dipengaruhi oleh seberapa koheren cerita yang berhasil dibangun oleh pikirannya.

Sekarang bayangkan bagaimana prinsip tersebut bekerja ketika kita berinteraksi dengan AI.

AI memberikan jawaban yang panjang. Penjelasannya terdengar logis. Contoh kodenya terlihat rapi. Istilah teknisnya benar. Bahkan ada komentar yang menjelaskan setiap bagian.

Otak kita kemudian berkata:
“Ini terlihat benar.”
Padahal yang sebenarnya terjadi mungkin hanya:
“Ini terlihat masuk akal berdasarkan informasi yang diberikan.”
Perbedaan antara kedua kalimat tersebut sangat kecil secara bahasa, tetapi sangat besar dalam software development.
Automation Bias: Ketika Kita Mulai Mengikuti Mesin

Dalam bidang Human Factors Engineering, terdapat istilah automation bias yang menggambarkan kecenderungan manusia untuk terlalu menerima keluaran sistem otomatis dalam proses pengambilan keputusan.

Sebuah kajian sistematis mengenai automation bias menjelaskan bahwa manusia dapat menggunakan keluaran sistem komputer sebagai pengganti proses pencarian dan pemrosesan informasi yang seharusnya dilakukan secara aktif. Akibatnya, seseorang dapat mengikuti rekomendasi otomatis yang sebenarnya salah atau melewatkan sesuatu hanya karena sistem tidak memberikan rekomendasi.

Dalam konteks software development, bentuknya mungkin jauh lebih sederhana.
AI menyarankan sebuah library, kita menggunakannya.
AI mengatakan sebuah fungsi sudah benar, kita menerimanya.
AI menyarankan perubahan arsitektur, kita mengikutinya.
AI mengatakan bug sudah diperbaiki, kita berhenti memeriksanya.

Lama-kelamaan, developer tidak lagi menggunakan AI sebagai second opinion. AI berubah menjadi sumber keputusan utama.
Pada titik tersebut, kita sebenarnya sudah bergeser dari assistance menuju dependency.

Dan inilah alasan mengapa pembahasan tentang hallucination saja tidak cukup. Kita bisa saja mengetahui bahwa AI dapat berhalusinasi, tetapi tetap mempercayai jawabannya terlalu cepat.

Masalahnya Bukan Percaya atau Tidak Percaya
Mungkin setelah membaca bagian ini muncul sebuah kesimpulan sederhana:
“Kalau begitu, jangan percaya AI.”
Namun itu juga bukan solusi yang tepat.

AI terlalu berguna untuk diabaikan. Dalam pengembangan perangkat lunak, AI dapat membantu mempercepat pekerjaan berulang, memberikan titik awal implementasi, menjelaskan kode yang belum dikenal, membantu debugging, dan memberikan alternatif pendekatan.

Masalahnya bukan apakah kita harus percaya kepada AI.
Masalahnya adalah seberapa besar kepercayaan yang layak kita berikan pada suatu jawaban, berdasarkan konteks dan konsekuensinya.

John D. Lee dan Katrina A. See justru menempatkan appropriate reliance sebagai tujuan utama dalam hubungan manusia dengan otomasi. Kepercayaan yang baik bukanlah kepercayaan maksimum, tetapi kepercayaan yang dikalibrasi dengan kemampuan sistem dan situasi penggunaannya.

Hal ini menghasilkan cara berpikir yang jauh lebih sehat.
Jika AI memberikan saran untuk menulis fungsi sederhana, kita mungkin hanya membutuhkan pemeriksaan singkat.
Jika AI memberikan rekomendasi yang menyentuh keamanan, arsitektur inti, data pengguna, atau keputusan yang memiliki konsekuensi besar, tingkat pemeriksaan yang dibutuhkan tentu berbeda.
Semakin besar konsekuensi sebuah kesalahan, semakin kecil alasan kita untuk menerima jawaban AI begitu saja.

Developer Bukan Pengawas AI, tetapi Pengambil Keputusan

Di sinilah hubungan antara developer dan AI menjadi menarik. Developer tidak harus memeriksa setiap karakter yang ditulis AI. Itu justru menghilangkan manfaat dari menggunakan AI sejak awal. Yang dibutuhkan adalah kemampuan untuk mengetahui bagian mana yang dapat didelegasikan dan bagian mana yang tetap membutuhkan penilaian manusia.

Modul Developing with AI menggunakan prinsip yang serupa: AI dapat menangani sebagian besar pekerjaan yang berulang dan berpola, tetapi bagian yang membutuhkan pemahaman konteks, keputusan desain, dan penyempurnaan akhir tetap membutuhkan developer.

Dengan demikian, developer yang baik bukanlah developer yang selalu menolak AI.Begitu pula developer yang baik bukanlah developer yang menerima semua hasil AI.

Developer yang baik adalah developer yang mampu menentukan:
“Untuk bagian ini, AI boleh membantu. Tetapi keputusan akhirnya tetap berada pada saya.”
Verifikasi Bukan Bentuk Ketidakpercayaan, tetapi Bagian dari Workflow

Ada satu perubahan pola pikir yang perlu dilakukan ketika mulai bekerja bersama AI.Verifikasi tidak seharusnya dianggap sebagai tanda bahwa kita tidak mempercayai AI. Verifikasi justru merupakan bagian normal dari proses engineering.

Seorang developer tidak menjalankan kode hanya sekali lalu menganggap sistem selesai. Kita menjalankan pengujian. Kita membaca error. Kita mencoba skenario berbeda. Kita melihat apakah perubahan yang dilakukan benar-benar memperbaiki masalah tanpa merusak bagian lain.

Hal yang sama berlaku ketika AI menjadi bagian dari workflow. AI boleh menghasilkan solusi. Tetapi solusi tersebut tetap harus melewati proses engineering.

Inilah alasan mengapa kemampuan membaca kode, memahami requirement, melakukan debugging, dan menguji aplikasi tidak menjadi kurang penting di era AI. Justru ketika jumlah kode yang dapat dihasilkan meningkat drastis, kemampuan untuk menilai kode tersebut menjadi semakin bernilai.

AI membuat produksi kode menjadi lebih murah.

Karena itu, kemampuan membedakan kode yang benar dari kode yang hanya terlihat benar menjadi semakin mahal.
Kesimpulan: Jangan Mengurangi Kepercayaan, Kalibrasikan

Hallucination memang merupakan salah satu keterbatasan AI. Namun jika kita hanya berfokus pada kesalahan yang dibuat AI, kita akan melewatkan persoalan yang lebih besar: bagaimana manusia merespons ketika mesin memberikan jawaban yang terlihat meyakinkan.

AI tidak harus selalu benar agar menjadi sangat berguna.
Dan manusia tidak harus selalu curiga agar tetap aman.

Yang dibutuhkan adalah hubungan kerja yang tepat: AI memberikan kemampuan dan kecepatan, sementara manusia memberikan konteks, penilaian, dan tanggung jawab.
Pada akhirnya, tantangan terbesar dalam Developing with AI mungkin bukan bagaimana membuat AI menghasilkan jawaban yang lebih baik.
Tantangannya adalah belajar mengetahui kapan jawaban tersebut layak dipercaya.
Karena developer yang paling efektif bukanlah mereka yang paling percaya kepada AI.

Bukan pula mereka yang paling tidak percaya.

Melainkan mereka yang tahu kapan harus mempercayainya, kapan harus mempertanyakannya, dan kapan harus memverifikasinya.

Ingin Menggunakan AI Tanpa Kehilangan Kendali?
Memahami bahwa AI dapat salah hanyalah langkah pertama. Tantangan berikutnya adalah membangun cara kerja yang memungkinkan AI membantu proses development tanpa membuat developer kehilangan pemahaman dan tanggung jawab terhadap hasil akhirnya.
Melalui pendekatan Developing with AI, Anda dapat mempelajari bagaimana memanfaatkan AI dalam berbagai tahap pengembangan perangkat lunak—mulai dari memahami masalah, membangun solusi, hingga melakukan pengujian dan penyempurnaan—dengan tetap menempatkan developer sebagai pengambil keputusan.

Referensi Utama
• Daniel Kahneman & Amos Tversky — Judgment Under Uncertainty: Heuristics and Biases; mengenai heuristics, biases, overconfidence, dan keterbatasan manusia dalam mengambil keputusan di bawah ketidakpastian.
• Daniel Kahneman — Thinking, Fast and Slow; mengenai WYSIATI (What You See Is All There Is), focusing illusion, dan bagaimana manusia membangun kesimpulan dari informasi yang tersedia.
• John D. Lee & Katrina A. See — Trust in Automation: Designing for Appropriate Reliance (2004); mengenai trust, appropriate reliance, dan hubungan manusia dengan sistem otomatis.
• Robin Parasuraman, Thomas B. Sheridan & Christopher D. Wickens — A Model for Types and Levels of Human Interaction with Automation; mengenai tingkatan otomasi dan hubungan antara manusia dengan sistem otomatis.
• Mosier, Skitka, Heers & Burdick — Automation Bias: Decision Making and Performance in High-Tech Cockpits; mengenai kecenderungan manusia mengikuti rekomendasi otomatis dalam pengambilan keputusan. Kajian lanjutan mengenai automation bias juga menunjukkan kaitannya dengan over-reliance dan confirmation bias.
• Don Norman — The Four Fundamental Principles of Human-Centered Design and Application; mengenai pentingnya memahami sistem otomasi dan peringatan bahwa over-trust dapat lebih berbahaya daripada under-trust.