Semua orang membicarakan pendapatan Nvidia yang luar biasa – naik 265% dari tahun ke tahun. Namun jangan hanya mengandalkan Groq, sebuah perusahaan berbasis di Silicon Valley yang membuat chip AI baru untuk menyimpulkan model bahasa besar (LLM) (membuat keputusan atau membuat prediksi pada model yang ada, bukan untuk pelatihan). Akhir pekan lalu, Groq tiba-tiba menikmati momen viral yang hanya diimpikan oleh sebagian besar startup.
Tentu saja, hal itu tidak terlalu menjadi perbincangan di media sosial satu dari postingan Elon Musk tentang model bahasa besar Grok yang sama sekali tidak terkait. Namun saya yakin orang-orang Nvidia menyadarinya setelah Matt Shumer, CEO HyperWrite, memposting di X tentang “teknologi liar” Groq yang “melayani Mixtral pada kecepatan hampir 500 tps” dengan tanggapan yang “pada dasarnya seketika”.
Shumer menindaklanjuti X dengan demo publik tentang “mesin penjawab secepat kilat” yang menunjukkan “jawaban substansial yang dikutip dengan ratusan kata dalam waktu kurang dari satu detik” — dan tiba-tiba sepertinya semua orang di AI berbicara dan mencoba aplikasi obrolan Groq di situs web mereka, di mana pengguna dapat memilih dari keluaran yang disediakan oleh Llama dan Mistral LLM.
Semua ini terjadi selain wawancara dengan CNN lebih dari seminggu yang lalu, di mana CEO dan pendiri Groq Jonathan Ross memamerkan antarmuka obrolan audio Groq yang “memecahkan rekor kecepatan”.
acara VB
Tur Dampak AI – NYC
Pada tanggal 29 Februari, kami akan berada di New York bekerja sama dengan Microsoft untuk membahas cara menyeimbangkan risiko dan manfaat aplikasi AI. Minta undangan ke acara eksklusif di bawah ini.
Minta undangan
Meskipun tidak ada perusahaan yang dapat menantang dominasi Nvidia saat ini – Nvidia menguasai lebih dari 80% pasar chip kelas atas; startup chip AI lainnya seperti SambaNova dan Cerebras belum membuat banyak kemajuan, bahkan dengan derivasi AI; Nvidia baru saja melaporkan pendapatan Q4 sebesar $22 miliar – CEO dan pendiri Groq Jonathan Ross mengatakan kepada saya dalam sebuah wawancara bahwa pengurangan biaya yang mengejutkan membuat startupnya menjadi pilihan yang “super cepat” dan lebih murah khususnya untuk penggunaan LLM.
Dalam pernyataannya yang berani, Ross mengatakan kepada saya bahwa “pada akhir tahun ini, kami mungkin akan menjadi infrastruktur yang digunakan sebagian besar startup,” dan menambahkan bahwa “kami sangat ramah terhadap startup—hubungi kami dan kami akan memastikan Anda ‘tidak membayar sebanyak yang Anda bayarkan di tempat lain.”
Groq LPU vs. Di GPU Nvidia
Situs web Groq mendeskripsikan LPU, atau “Unit Pemrosesan Bahasa”, sebagai “jenis baru dari sistem unit pemrosesan kompleks yang memberikan inferensi tercepat untuk aplikasi intensif komputasi dengan komponen sekuensial di dalamnya, seperti aplikasi AI bahasa (LLM).”
Sebaliknya, GPU Nvidia dioptimalkan untuk pemrosesan grafis paralel, bukan LLM. Karena LPU Groq dirancang khusus untuk bekerja dengan urutan data seperti kode dan bahasa alami, LPU tersebut dapat menghasilkan keluaran LLM lebih cepat daripada GPU dengan melewati dua area yang sulit dihadapi oleh GPU atau CPU: kepadatan komputasi dan bandwidth memori.
Selain antarmuka obrolan mereka, Ross mengatakan Groq juga membedakan dirinya dari perusahaan seperti OpenAI karena Groq tidak melatih model — dan oleh karena itu tidak perlu merekam data apa pun dan dapat mengajukan pertanyaan obrolan secara pribadi.
Karena ChatGPT diperkirakan berjalan 13 kali lebih cepat jika didukung oleh chip Groq, apakah OpenAI akan menjadi mitra Groq yang potensial? Ross tidak akan mengatakannya secara spesifik, namun versi demo antarmuka obrolan audio Groq memberi tahu saya bahwa “mungkin saja mereka dapat bekerja sama jika saling menguntungkan.” Open AI mungkin tertarik untuk memanfaatkan kemampuan unik LPU untuk proyek pemrosesan bahasa mereka. Ini bisa menjadi kemitraan yang menarik jika mereka memiliki tujuan yang sama.”
Apakah LPU Groq Benar-benar Inferensi AI yang Mengubah Permainan?
Saya seharusnya berbicara dengan Ross beberapa bulan yang lalu, karena perwakilan humas perusahaan menghubungi saya pada pertengahan Desember dan menggambarkan Groq sebagai “pembuat chip Amerika yang siap memenangkan perlombaan AI.” Saya penasaran tetapi tidak pernah sempat menerima telepon.
Tapi sekarang saya benar-benar meluangkan waktu: Saya ingin tahu apakah Groq hanyalah peserta terbaru dalam siklus hype AI yang bergerak cepat “perhatian PR adalah yang Anda butuhkan”? Apakah LPU Groq Benar-benar Inferensi AI yang Mengubah Permainan? Dan seperti apa kehidupan Ross dan tim kecilnya yang beranggotakan 200 orang (mereka menyebut diri mereka ‘Groqsters’) dalam seminggu terakhir setelah momen kejayaan perangkat keras teknologi?
Postingan Shumer adalah “pertandingan yang menyalakan sumbu,” kata Ross kepada saya melalui panggilan video dari sebuah hotel di Paris tempat dia makan siang bersama tim di Mistral — sebuah startup LLM open source Prancis yang menikmati beberapa momen viral selama ini beberapa bulan terakhir.
Dia memperkirakan lebih dari 3.000 orang menghubungi Groq untuk mendapatkan akses API dalam waktu 24 jam setelah Shumer memposting, namun dia tertawa, dan menambahkan bahwa “kami tidak membebankan biaya kepada mereka karena kami belum menyiapkan penagihan. Kami membiarkan orang menggunakannya secara gratis saat ini.”
Namun Ross tidak terlalu ramah dalam hal pro dan kontra menjalankan startup Silicon Valley—potensi teknologi Groq, yang telah dikembangkan Groq sejak didirikan pada tahun 2016. Pencarian cepat di Google menghasilkan cerita Forbes tahun 2021 yang merinci Putaran penggalangan dana Groq sebesar $300 juta, serta kisah Ross tentang bagaimana dia membantu menciptakan Unit Pemrosesan Tensor Google, atau TPU, dan kemudian membuat Google meluncurkan Groq pada tahun 2016.
Di Groq, Ross dan timnya telah membuat apa yang disebutnya “sebuah chip yang sangat tidak biasa karena ketika Anda membuat sebuah mobil, Anda dapat memulai dengan mesinnya atau Anda dapat memulai dengan pengalaman berkendara. Dan kami memulai dengan pengalaman berkendara – kami menghabiskan enam bulan pertama mengerjakan compiler sebelum kami merancang chipnya.”
Memenuhi kebutuhan Nvidia akan akses GPU telah menjadi bisnis besar
Seperti yang saya laporkan minggu lalu, memuaskan rasa lapar yang meluas akan akses ke GPU Nvidia, yang merupakan gosip terpanas di Silicon Valley musim panas lalu, telah menjadi bisnis besar di industri AI.
Unicorn cloud GPU baru (Lamda, Together AI, dan Coreweave) telah bermunculan, sementara mantan CEO GitHub Nat Friedman kemarin mengumumkan bahwa timnya bahkan membuat Craigslist untuk cluster GPU. Dan tentu saja, ada laporan Wall Street Journal bahwa CEO OpenAI Sam Altman ingin memenuhi permintaan dengan menata ulang dunia chip AI – sebuah proyek yang dapat menelan biaya triliunan dan memiliki latar belakang geopolitik yang rumit.
Ross mengklaim bahwa sebagian dari apa yang terjadi saat ini di ruang GPU sebenarnya adalah reaksi terhadap apa yang dilakukan Groq. “Ada sedikit siklus yang baik,” katanya. Misalnya, “Nvidia telah menemukan bahwa negara-negara berdaulat adalah hal yang mereka lakukan, dan saya sedang melakukan tur selama lima minggu untuk mencoba membuat beberapa kesepakatan dengan negara-negara…Anda tidak akan melihatnya saat kita di luar sana, tapi ada banyak hal yang mereka kejar pada kita.”
Dia juga dengan berani menekan upaya Altman untuk mengumpulkan hingga $7 triliun untuk proyek chip AI besar-besaran. “Yang saya katakan adalah kita bisa melakukannya dengan biaya 700 miliar,” katanya. “Kami menawar.”
Ia menambahkan, Groq juga akan berkontribusi dalam penyediaan chip AI dengan kapasitas yang besar.
“Pada akhir tahun ini, kami pasti akan memiliki kapasitas 25 juta token per detik, yang kami perkirakan akan menjadi OpenAI pada akhir tahun 2023,” ujarnya. “Kami bekerja sama dengan negara-negara untuk menggunakan perangkat keras yang dapat meningkatkan jumlah tersebut. Seperti UEA, seperti banyak negara lainnya. Saya berada di Eropa karena suatu alasan – ada beberapa negara yang tertarik.’
Namun sementara itu, Groq juga harus menghadapi masalah-masalah duniawi saat ini — seperti memaksa orang untuk membayar API setelah momen viral perusahaan tersebut minggu lalu. Saat saya bertanya kepada Ross apakah dia punya rencana untuk mengetahui penagihan Groq API, Ross berkata, “Kami akan memeriksanya.” Perwakilan PR-nya, yang juga menerima panggilan tersebut, dengan cepat menjawab: “Ya, itu akan menjadi salah satu pesanan pertama, Jonathan.”
Misi VentureBeat ini dimaksudkan untuk menjadi lapangan digital untuk pengambilan keputusan teknis di mana mereka memperoleh pengetahuan tentang teknologi dan transaksi bisnis yang transformatif. Temukan briefing kami.
+ There are no comments
Add yours