Lupakan ChatGPT – Groq adalah AI baru

Groq, sebuah perusahaan yang telah membangun perangkat kerasnya sendiri yang dirancang untuk menjalankan model bahasa AI, memiliki misi untuk menghadirkan AI yang lebih cepat — tepatnya 75 kali lebih cepat daripada rata-rata manusia mengetik.

Kecepatan sangat penting saat menggunakan AI. Saat Anda berbicara dengan chatbot AI, Anda ingin informasi tersebut terjadi secara real-time. Jika Anda memintanya untuk menulis email, Anda menginginkan hasilnya dalam hitungan detik sehingga Anda dapat mengirimkannya dan melanjutkan ke tugas berikutnya.

Groq (jangan bingung dengan chatbot Grok milik Elon Musk – dan tidak, mereka tidak terlalu senang dengan nama yang mirip) berspesialisasi dalam pengembangan prosesor berkinerja tinggi dan solusi perangkat lunak untuk AI, pembelajaran mesin (ML), dan aplikasi komputasi berkinerja tinggi. .

Jadi, meskipun perusahaan yang berbasis di Mountain View (saat ini) tidak melatih model bahasa AI miliknya, perusahaan tersebut dapat membuat model yang dikembangkan oleh perusahaan lain bekerja sangat cepat.

Bagaimana dia mencapai hal ini?

Groq menggunakan perangkat keras yang berbeda dari pesaingnya. Dan perangkat keras yang mereka gunakan dirancang untuk perangkat lunak yang mereka jalankan, bukan sebaliknya.

Mereka telah menciptakan chip yang mereka sebut unit pemrosesan bahasa (LPU) yang dirancang untuk bekerja dengan mode bahasa besar (LLM). Alat AI lainnya biasanya menggunakan unit pemrosesan grafis (GPU), yang sesuai dengan namanya, dioptimalkan untuk pemrosesan grafis paralel.

Bahkan saat menggunakan chatbot, perusahaan AI menggunakan GPU karena dapat melakukan perhitungan teknis dengan cepat dan umumnya cukup efisien. Mengambil contoh chatbot, LLM bekerja seperti GPT-3 (salah satu model yang digunakan ChatGPT) dengan menganalisis perintah dan menghasilkan teks untuk Anda berdasarkan serangkaian prediksi tentang kata berikutnya yang akan muncul setelah kata sebelumnya.

Groq memberikan respons tercepat yang pernah saya lihat. Kita berbicara tentang hampir 500 T/s! Saya melakukan penelitian tentang bagaimana mereka bisa melakukan ini. Ternyata mereka telah mengembangkan perangkat kerasnya sendiri yang menggunakan LPU, bukan GPU. Inilah yang kurus: Groq telah membuat unit prosesor baru yang dikenal sebagai… pic.twitter.com/mgGK2YGeFp 19 Februari 2024

Lihat selengkapnya

Karena LMU Groq dirancang khusus untuk bekerja dengan rangkaian data (misalnya DNA, musik, kode, bahasa alami), kinerjanya jauh lebih baik daripada GPU. Perusahaan mengatakan penggunanya sudah menggunakan mesin dan API untuk menjalankan LLM hingga 10 kali lebih cepat dibandingkan alternatif berbasis GPU.

Cobalah

Anda dapat mencobanya sendiri secara gratis dan tanpa menginstal perangkat lunak apa pun menggunakan perintah teks biasa.

Groq saat ini menjalankan Llama 2 (dibuat oleh Meta), Mixtral-8x7b dan Mistral 7B.

Ya, kami sedang mengerjakannya, tetapi untuk saat ini kami fokus pada membangun penawaran model sumber terbuka. 19 Februari 2024

Lihat selengkapnya

Di X, Tom Ellis, yang bekerja di Groq, mengatakan bahwa model kustom sedang dalam pengerjaan, namun untuk saat ini mereka fokus pada membangun penawaran model sumber terbuka.