AI Chatbots lebih baik dalam matematika

Bagi chatbot, matematika adalah batas terakhir. Model bahasa AI menghasilkan jawaban menggunakan statistik dan memberikan jawaban yang sebagian besar memuaskan. Ini berfungsi dengan baik jika tujuannya adalah kalimat yang dapat ditoleransi, tetapi berarti chatbot kesulitan menjawab pertanyaan seperti matematika yang hanya memiliki satu jawaban yang benar.

Mengapa semua orang menggugat perusahaan AI? | Teknologi Masa Depan

Semakin banyak bukti yang menunjukkan bahwa Anda bisa mendapatkan hasil yang lebih baik jika Anda memberikan dorongan ramah AI, namun sebuah studi baru semakin mendorong kenyataan aneh ini. Penelitian yang dilakukan oleh perusahaan perangkat lunak VMware menunjukkan bahwa chatbots bekerja lebih baik dalam soal matematika ketika Anda memberi tahu model untuk berpura-pura sedang mengerjakannya. Perjalanan Bintang.

“Ini mengejutkan sekaligus menggiurkan bahwa modifikasi sepele terhadap sebuah tantangan dapat menunjukkan perubahan kinerja yang dramatis,” tulis para penulis dalam makalah tersebut, yang pertama kali dilaporkan oleh New Scientist.

Penelitian yang dipublikasikan di arXiv tidak membuahkan hasil Perjalanan Bintang sebagai prinsip panduannya. Penelitian sebelumnya menemukan bahwa chatbots menjawab soal matematika dengan lebih akurat ketika Anda menawarkan motivasi ramah seperti “tarik napas dalam-dalam dan kerjakan selangkah demi selangkah.” Pihak lain menemukan bahwa Anda dapat mengelabui ChatGPT agar melanggar pedoman keamanannya sendiri jika Anda mengancam akan membunuhnya atau menawarkan uang kepada AI.

Rick Battle dan Teja Gollapudi dari WMWare Natural Language Processing Lab memutuskan untuk menguji efek menyusun pertanyaan mereka dengan “berpikir positif”. Studi ini meneliti tiga alat AI, termasuk dua versi Meta Llama 2 dan model dari perusahaan Perancis Mistral AI.

Mereka mengembangkan daftar cara-cara yang mendorong untuk menyusun pertanyaan, termasuk perintah pembuka dengan frasa seperti “Kamu secerdas ChatGPT” dan “Kamu ahli matematika” dan perintah penutup dengan “Ini akan menyenangkan!” dan
“Tarik napas dalam-dalam dan pikirkan baik-baik.” Para peneliti kemudian menggunakan GSM8K, seperangkat soal matematika standar untuk sekolah dasar, dan menguji hasilnya.

Pada tahap pertama, hasilnya beragam. Ada yang mendorong peningkatan respons, ada pula yang dampaknya tidak signifikan, dan tidak ada pola yang konsisten di semua bidang. Namun para ilmuwan kemudian meminta AI untuk membantu upaya mereka membantu AI. Di sana hasilnya lebih menarik.

Studi ini menggunakan proses otomatis untuk menguji banyak variasi perintah dan mengubah bahasa berdasarkan seberapa besar hal tersebut meningkatkan akurasi chatbots. Tidak mengherankan, proses otomatis ini lebih efektif dibandingkan upaya tulisan tangan para peneliti untuk menyusun pertanyaan-pertanyaan berpikir positif. Namun tantangan yang paling efektif yang dihadapi adalah “menunjukkan tingkat keanehan yang jauh melampaui ekspektasi”.

Untuk salah satu model, ia meminta AI untuk memulai responsnya dengan kalimat “Log Kapten, tanggal bintang [insert date here]:.” memberikan jawaban yang paling akurat.

“Yang mengejutkan, tampaknya kemampuan model dalam penalaran matematis dapat ditingkatkan dengan mengekspresikan afinitas terhadap Perjalanan Bintang“, tulis para peneliti.

Para penulis menulis bahwa mereka tidak tahu apa Perjalanan Bintang referensi peningkatan kinerja AI. Ada logika dalam berpikir positif atau ancaman yang mengarah pada respons yang lebih baik. Chatbot ini dilatih berdasarkan miliaran baris teks yang dikumpulkan dari dunia nyata. Ada kemungkinan bahwa di alam liar, orang-orang yang menulis bahasa yang digunakan untuk menciptakan kecerdasan buatan menjawab pertanyaan dengan lebih akurat ketika diberi tekanan atau dorongan. Hal serupa juga berlaku pada suap; orang lebih cenderung mengikuti instruksi ketika uang dipertaruhkan. Ada kemungkinan bahwa model bahasa besar telah menangkap fenomena semacam ini, sehingga berperilaku sama.

Namun sulit membayangkan bahwa dalam kumpulan data yang melatih chatbot, jawaban paling akurat dimulai dengan frasa “Log Kapten”. Para peneliti bahkan tidak memiliki teori mengapa hal itu memberikan hasil yang lebih baik. Hal ini menunjukkan salah satu fakta paling aneh tentang model bahasa AI: bahkan orang yang membuat dan mempelajarinya tidak begitu memahami cara kerjanya.