Chatbot Google dan Microsoft adalah

Terima kasih untuk gambarnya: TechCrunch.dll

Jika Anda memerlukan lebih banyak bukti bahwa GenAI cenderung dibuat-buat, chatbot Gemini Google, sebelumnya Bard, berpendapat bahwa Super Bowl 2024 telah terjadi. Ia bahkan memiliki statistik (fiksi) untuk mendukungnya.

Menurut utas Reddit, Gemini, yang didukung oleh model GenAI Google dengan nama yang sama, menjawab pertanyaan tentang Super Bowl LVIII seolah-olah pertandingan berakhir kemarin — atau beberapa minggu sebelumnya. Seperti banyak bandar judi, dia tampaknya lebih menyukai Chiefs daripada 49ers (maaf, penggemar San Francisco).

Gemini mendekorasi dengan cukup kreatif, setidaknya dalam satu kasus memberikan rincian statistik pemain, menunjukkan bahwa quarterback senior Kansas Patrick Mahomes telah berlari sejauh 286 yard untuk dua touchdown dan sebuah intersepsi terhadap 253 yard bergegas dan satu touchdown milik Brock Purdy.

Terima kasih untuk gambarnya: /r/smellymonster (terbuka di jendela baru)

Ini bukan hanya tentang Gemini. Chatbot Copilot Microsoft juga menegaskan bahwa permainan telah berakhir, dan memberikan kutipan yang salah untuk mendukung klaim tersebut. Tapi — mungkin mencerminkan bias San Francisco! – kata 49ers, bukan Chiefs, yang menang “dengan skor akhir 24-21.”

Terima kasih untuk gambarnya: Kyle Wiggers / TechCrunch

Copilot didukung oleh model GenAI, yang mirip, jika tidak identik, dengan model yang menjadi dasar ChatGPT (GPT-4) OpenAI. Namun dalam pengujian saya, ChatGPT enggan melakukan kesalahan yang sama.

Terima kasih untuk gambarnya: Kyle Wiggers / TechCrunch

Semuanya agak konyol – dan mungkin sudah terselesaikan, mengingat reporter ini tidak beruntung meniru tanggapan Gemini di thread Reddit. (Saya akan terkejut jika Microsoft tidak juga melakukan perbaikan.) Namun hal ini juga menggambarkan keterbatasan besar GenAI saat ini—dan bahayanya jika terlalu mengandalkannya.

Model GenAI tidak memiliki kecerdasan yang nyata. Model kecerdasan buatan mempelajari bagaimana data (misalnya teks) mungkin muncul berdasarkan pola, termasuk konteks semua data di sekitarnya, berdasarkan sejumlah besar contoh yang biasanya berasal dari web publik.

Pendekatan probabilistik ini bekerja dengan sangat baik dalam skala besar. Namun sejauh ini rentang kata dan probabilitasnya adalah mungkin untuk menghasilkan teks yang masuk akal masih jauh dari pasti. LLM dapat menghasilkan sesuatu yang benar secara tata bahasa tetapi tidak masuk akal, misalnya – seperti klaim tentang Gerbang Emas. Atau mereka mungkin menyebarkan kebohongan dan menyebarkan ketidakakuratan dalam data pelatihan mereka.

Hal ini tidak berbahaya bagi LLM. Mereka tidak mempunyai niat jahat dan konsep kebenaran dan kepalsuan tidak ada artinya bagi mereka. Mereka hanya belajar mengasosiasikan kata atau frasa tertentu dengan konsep tertentu, meskipun pengaitan tersebut tidak tepat.

Oleh karena itu kebohongan Gemini dan co-pilot Super Bowl 2024 (dan 2023).

Google dan Microsoft, serta sebagian besar vendor GenAI, mengakui bahwa aplikasi GenAI mereka tidak sempurna dan rentan terhadap kesalahan. Namun konfirmasi ini datang dalam bentuk cetakan kecil yang menurut saya mudah untuk dilewatkan.

Misinformasi Super Bowl tentu saja bukan contoh paling buruk dari keluarnya GenAI. Perbedaan ini mungkin terletak pada dukungan terhadap penyiksaan, penguatan stereotip etnis dan ras, atau penulisan teori konspirasi yang persuasif. Namun, ini merupakan pengingat yang berguna untuk memeriksa ulang pernyataan dari bot GenAI. Ada kemungkinan besar itu tidak benar.