Chatbot AI baru dari NVIDIA berjalan secara lokal

NVIDIA baru saja merilis demo gratis chatbot yang berjalan secara lokal di PC Anda. Ini cukup rapi karena memungkinkan chatbot mengakses file dan dokumen Anda. Anda dapat memberikan pilihan informasi pribadi kepada Chat dengan RTX dan membiarkannya membuat ringkasan berdasarkan informasi tersebut. Anda juga dapat mengajukan pertanyaan, seperti chatbot lainnya, dan ia akan menggali data Anda untuk mendapatkan jawabannya.

Perusahaan mengatakan hal itu memungkinkan pengguna untuk “dengan cepat dan mudah menghubungkan file PC lokal sebagai kumpulan data ke model bahasa sumber terbuka yang besar seperti Mistral atau Llama 2.” NVIDIA memberikan contoh pengguna menanyakan chatbot tentang restoran yang direkomendasikan oleh mitranya di Las Vegas. Perangkat lunak akan mencari file lokal untuk menemukan jawabannya. Ini mendukung berbagai format file, termasuk .txt, .pdf, .doc/.docx, dan .xml. Perusahaan mengatakan mereka memuat file yang relevan ke dalam kumpulan datanya “dalam hitungan detik”.

Obrolan dengan RTX juga mengintegrasikan video dan playlist YouTube. Anda dapat menambahkan URL video ke kumpulan data dan mengintegrasikan pengetahuan yang terdapat dalam klip untuk kueri kontekstual. NVIDIA mengatakan ini akan berguna ketika meminta rekomendasi perjalanan “berdasarkan konten dari video influencer populer” atau ketika mencari tutorial dan ringkasan yang berasal dari sumber daya pendidikan.

Tepi mereka telah mencoba langsung chatbot tersebut dan terkesan, dan menulis bahwa mereka melihatnya sebagai “sebuah penelitian data yang berharga bagi jurnalis atau siapa pun yang perlu menganalisis kumpulan dokumen.”

Ini terdengar seperti langkah besar menuju sesuatu yang menyerupai asisten digital sejati yang bekerja dalam konteks data pribadi Anda. Pada sebagian besar chatbot, data dikirim ke cloud, tetapi Chat dengan RTX “memungkinkan pengguna memproses data sensitif di komputer lokal mereka tanpa harus membaginya dengan pihak ketiga atau memiliki koneksi Internet.” Jadi lebih aman Dan lebih sadar konteks.

Ada beberapa batasan. Ini adalah produk demo, jadi Anda akan melihat banyak bug, meskipun NVIDIA harus mulai menghilangkannya setelah pengguna mulai mengeluarkan laporan kesalahan dan sejenisnya. Ada juga beberapa batasan perangkat keras yang ketat. Obrolan dengan RTX hanya berfungsi di PC Windows dengan GPU NVIDIA GeForce RTX 30 Series atau lebih tinggi dan VRAM minimal 8 GB.

NVIDIA benar-benar sedang memamerkan kemampuan AI-nya akhir-akhir ini, karena perusahaan tersebut baru saja meluncurkan chip superkomputer AI generasi baru. Ini benar-benar menghasilkan keuntungan, sebagian besar berkat segmen AI dan pusat data perusahaan.

Artikel ini berisi link afiliasi; jika Anda mengeklik tautan tersebut dan melakukan pembelian, kami dapat memperoleh komisi.