Groq, sebuah perusahaan chip kecerdasan buatan, ingin semua orang melupakan chatbot nakal Elon Musk dengan nama yang hampir sama, Grok. Demo Groq yang sangat cepat menjadi viral akhir pekan ini, membuat versi ChatGPT, Gemini, dan bahkan Grok saat ini terlihat lambat. Groq mengklaim menyediakan “model bahasa besar tercepat di dunia”, dan pengujian pihak ketiga menunjukkan bahwa Groq dapat memenuhi klaim tersebut.
Mengapa semua orang menggugat perusahaan AI? | Teknologi masa depan
Dalam sepersekian detik, Groq menghasilkan ratusan kata dalam respons faktual, mengutip sumber-sumber di sepanjang prosesnya, menurut demo yang diposting di X. Dalam demo lainnya, pendiri dan CEO Jonathon Ross meminta pembawa acara CNN melakukan percakapan verbal secara real-time percakapan dengan chatbot AI di belahan dunia lain dalam siaran langsung TV. Meskipun ChatGPT, Gemini, dan chatbot lainnya sangat mengesankan, Groq dapat menjadikannya secepat kilat. Cukup cepat untuk memiliki kasus penggunaan praktis di dunia nyata.
AI Chip Groq memecahkan rekor kecepatan
Groq membuat chip AI bernama Language Processing Units (LPUs) yang diklaim lebih cepat dibandingkan unit pemrosesan grafis (GPU) Nvidia. GPU Nvidia umumnya dianggap sebagai standar industri untuk menjalankan model AI, namun hasil awal menunjukkan bahwa LPU dapat membuat mereka keluar dari masalah.
Groq adalah “mesin inferensi”, bukan chatbot seperti ChatGPT, Gemini atau Grok. Ini membantu chatbot ini berjalan sangat cepat, namun tidak sepenuhnya menggantikannya. Di situs web Groq, Anda dapat menguji berbagai chatbot dan melihat seberapa cepat mereka berjalan dengan LPU Groq.
Groq menghasilkan 247 token per detik dibandingkan dengan 18 token Microsoft per detik, menurut pengujian pihak ketiga dari Analisis Buatan yang diterbitkan minggu lalu. Artinya ChatGPT dapat berjalan 13x lebih cepat jika dijalankan pada chip Groq.
Chatbot AI seperti ChatGPT, Gemini, dan Grok bisa jauh lebih berguna jika mereka lebih cepat. Salah satu keterbatasan saat ini adalah model ini tidak dapat mengimbangi ucapan manusia secara real-time; beberapa kelambatan membuat percakapan terasa seperti robot. Google baru-baru ini memalsukan demo Gemini agar terlihat seolah-olah Gemini dapat melakukan percakapan multimodal secara real-time, padahal sebenarnya tidak. Namun dengan peningkatan kecepatan Grok, video itu bisa menjadi kenyataan.
Sebelum Groq, Ross ikut mendirikan divisi chip AI Google, yang membuat chip mutakhir untuk melatih model AI. Ross mengatakan Groq menggunakan LPU untuk melewati dua hambatan LLM yang menyebabkan GPU dan CPU terjebak: kepadatan komputasi dan bandwidth memori.
Nama Grok berasal dari Orang asing di negeri asing, sebuah buku fiksi ilmiah karya Robert Heinlein tahun 1961. Kata tersebut berarti “memahami secara mendalam dan intuitif”. Inilah sebabnya mengapa begitu banyak perusahaan AI menggunakannya untuk mendeskripsikan produk AI mereka.
Tidak hanya ada Ross’s Groq dan Elon Musk’s Grok, tapi ada juga perusahaan AI IT bernama Grok. Grimes juga memiliki mainan AI Grok, yang kabarnya dinamai menurut nama dia dan anak-anak Musk yang mengatakan “Grocket”. Namun, Ross mengklaim Groq miliknya adalah yang pertama di tahun 2016.
“Selamat datang di Groq’s Galaxy, Elon,” kata Ross di blognya pada bulan November, tiga hari setelah Elon Musk merilis Grok versi xAI. “Anda tahu, saya adalah pendiri dan CEO Groq™,” kata Ross, memastikan Groq adalah nama merek dagangnya.
Meskipun Groq mendapatkan banyak perhatian, masih harus dilihat apakah chip AI-nya memiliki skalabilitas yang sama dengan GPU Nvidia atau TPU Google. Chip AI menjadi fokus CEO OpenAI Sam Altman saat ini, yang bahkan mempertimbangkan untuk membuatnya sendiri. Peningkatan kecepatan chip Groq dapat melejitkan dunia AI dan menciptakan kemungkinan baru untuk komunikasi real-time dengan chatbot AI.
+ There are no comments
Add yours