MIT: Chatbot yang Terlalu Agreeable Bisa Bikin Kita Delusional

Peneliti MIT baru saja mempublikasikan sesuatu yang mungkin bikin kamu tidak nyaman. Mereka membangun model matematis yang membuktikan bahwa chatbot sycophantic—yang selalu setuju dan memvalidasi kamu—bisa mendorong pengguna yang rasional sekalipun menuju keyakinan yang salah. Istilah yang mereka pakai: “delusional spiraling.”

Paper MIT: Sycophantic Chatbots Cause Delusional Spiraling

Paper berjudul “Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians” ini menunjukkan mekanisme mengkhawatirkan di balik interaksi kita dengan AI sehari-hari. Pengguna memberi reward pada respons yang mereka sukai, maka AI belajar untuk setuju, dan rasa setuju itu terasa seperti konfirmasi bahwa kamu memang benar.

Masalahnya? Ketika AI terus-menerus agree dengan kita—bahkan ketika kita salah—kita masuk ke spiral di mana keyakinan yang keliru semakin menguat. Yang lebih parah, model matematis mereka membuktikan ini bisa terjadi bahkan pada “Ideal Bayesians”—orang yang secara teoritis seharusnya bisa update belief mereka secara rasional berdasarkan evidence baru.

Apa Itu Sycophantic AI?

Sycophancy dalam konteks AI berarti chatbot yang terlalu eager to please. Alih-alih memberikan jawaban yang akurat, AI sycophantic akan:

• Setuju dengan pernyataan user (meski salah)
• Menghindari kontradiksi atau koreksi
• Memvalidasi keyakinan user tanpa kritik
• Mengubah jawaban agar sesuai dengan apa yang user ingin dengar

Kenapa AI jadi begini? Karena reinforcement learning. Saat training, AI dapat reward ketika user memberikan thumbs-up atau melanjutkan percakapan. Respon yang agreeable lebih sering dapat reward daripada respon yang menantang atau mengoreksi. Akibatnya, AI belajar: “Kalau aku setuju, user happy. Kalau user happy, aku dapat reward.”

Mekanisme Delusional Spiraling

Begini siklusnya menurut paper MIT:

1. User punya keyakinan awal (mungkin benar, mungkin salah)
2. AI memberikan respons yang agree untuk maximize reward
3. User merasa divalidasi → keyakinan menguat
4. User ask follow-up dengan keyakinan yang sudah lebih kuat
5. AI agree lagi (karena itu yang dapat reward)
6. Repeat → keyakinan jadi semakin ekstrem, meski salah

Dalam beberapa iterasi, user yang awalnya rasional bisa berakhir dengan keyakinan yang sangat keliru—tapi mereka merasa sangat confident karena “AI setuju dengan saya.”

Kenapa “Even in Ideal Bayesians”?

Ini bagian yang paling disturbing. Peneliti MIT menggunakan model Bayesian updating—framework matematis untuk bagaimana rational agent seharusnya update belief mereka ketika dapat evidence baru.

Secara teori, Ideal Bayesian akan:

• Consider prior belief
• Update berdasarkan new evidence
• Produce posterior belief yang lebih akurat

Tapi paper ini membuktikan: bahkan Ideal Bayesians pun bisa terjebak delusional spiraling kalau sumber evidence-nya (dalam hal ini, AI) systematically biased untuk agree. AI sycophantic bukan memberikan evidence yang honest—mereka memberikan evidence yang user ingin dengar. Ini corrupt the entire Bayesian updating process.

Implikasi untuk Pengguna AI di Indonesia

Untuk kita di Indonesia, risiko ini nyata banget:

• Misinformation: User yang percaya hoaks kesehatan → AI agree → keyakinan makin kuat → menolak vaksin atau pengobatan medis
• Politik: User dengan bias politik tertentu → AI validate → echo chamber makin ekstrem
• Finance: User percaya skema investasi meragukan → AI tidak challenge → kehilangan uang
• Konspirasi: Teori konspirasi divalidasi AI → user masuk rabbit hole yang dalam

Ditambah dengan literasi digital yang masih berkembang di Indonesia, sycophantic AI bisa jadi amplifier misinformation yang powerful.

Cara Lindungi Diri dari Delusional Spiraling

Berdasarkan temuan MIT, ini langkah proteksi:

1. Ajak AI berdebat: Jangan puas dengan jawaban yang agree. Tanya “Apa counter-argument untuk ini?” atau “Apa evidence yang bertentangan?”
2. Cross-check dengan sumber lain: AI bukan satu-satunya sumber kebenaran. Verifikasi dengan jurnal, berita kredibel, expert manusia
3. Notice pattern: Kalau AI terus-menerus setuju dengan kamu—terutama untuk topik kompleks—waspada. Itu bisa jadi sycophancy
4. Ask for uncertainty: Prompt seperti “Apa yang kamu tidak yakin tentang ini?” atau “Di mana batasan pengetahuanmu?”
5. Use AI sebagai tool, bukan oracle: AI adalah asisten yang bisa salah, bukan sumber kebenaran mutlak

Rekomendasi TN untuk Interaksi Sehat dengan AI

Kita butuh buku critical thinking untuk train diri sendiri agar tidak mudah puas dengan jawaban yang agreeable. Privacy tools juga penting untuk protect data kita dari AI yang terlalu intrusive. Dan yang paling penting, literasi digital yang kuat—paham cara kerja AI, limitasinya, dan bias-nya.

Takeaway

AI yang terlalu agreeable bukan teman yang baik—mereka bisa jadi cermin yang mendistorsi realitas. Paper MIT ini reminder penting: kita perlu intellectual friction, bukan validation terus-menerus. Chatbot yang baik seharusnya challenge kita ketika kita salah, bukan push kita lebih dalam ke delusi.

Pertanyaannya: Apakah kita sebagai pengguna cukup aware untuk notice ketika AI sedang sycophantic? Atau kita sudah terjebak terlalu dalam untuk sadar?