Obrolan Nvidia dengan RTX adalah AI yang menjanjikan

Nvidia hari ini merilis versi awal Obrolan dengan RTX, sebuah aplikasi demo yang memungkinkan Anda menjalankan chatbot kecerdasan buatan pribadi di PC Anda. Anda dapat menyematkan video YouTube dan dokumen Anda sendiri ke dalamnya untuk membuat ringkasan dan mendapatkan jawaban yang relevan berdasarkan data Anda sendiri. Semuanya berjalan secara lokal di PC dan yang Anda perlukan hanyalah GPU seri RTX 30 atau 40 dengan VRAM minimal 8 GB.

Saya telah menguji secara singkat Obrolan dengan RTX pada hari terakhir, dan meskipun aplikasinya agak kasar, saya sudah melihatnya sebagai bagian penelitian data yang berharga bagi jurnalis atau siapa pun yang perlu menganalisis kumpulan dokumen.

Obrolan dengan RTX dapat menangani video YouTube, jadi Anda cukup memasukkan URL dan memungkinkan Anda mencari transkrip untuk penyebutan tertentu atau meringkas keseluruhan video. Menurut saya ini ideal untuk mencari podcast video, terutama mencari penyebutan spesifik di podcast minggu lalu di tengah rumor perubahan baru dalam strategi Microsoft Xbox.

Namun, itu tidak ideal untuk mencari video YouTube. Saya mencoba mencari transkripnya dan Negara Video YouTube dan Obrolan dengan RTX mengunduh transkrip untuk video yang sama sekali berbeda. Itu bahkan bukan salah satu yang saya tanyakan sebelumnya, jadi jelas ada bug di demo awal ini.

Mengobrol dengan RTX sangat bagus untuk mencari dokumen lokal. Tangkapan layar oleh Tom Warren/The Verge

Jika berfungsi dengan benar, saya dapat menemukan referensi dalam video dalam hitungan detik. Saya juga membuat kumpulan data FTC v.Microsoft dokumen untuk Obrolan dengan RTX untuk dianalisis. Saat saya meliput kasus pengadilan tahun lalu, sering kali saya kewalahan mencari dokumen dengan cepat, namun Chat dengan RTX membantu saya menemukannya hampir seketika di komputer saya.

Misalnya, chatbot berhasil merangkum seluruh strategi Xbox Game Pass Microsoft dari dokumen internal yang terungkap dalam uji coba:

Berdasarkan informasi kontekstual yang diberikan, Xbox Game Pass adalah layanan berlangganan konten game yang menyediakan akses ke perpustakaan game dengan biaya bulanan tunggal. Ini dirancang sebagai platform yang memungkinkan para gamer memainkan game mereka di mana saja dan memungkinkan penerbit menjangkau para gamer di mana saja. Layanan ini didukung oleh Project xCloud dan Xbox Series X dan bertujuan untuk menciptakan lahan subur bagi penerbit untuk memonetisasi game mereka. Tujuan strategis utama Gaming CSA adalah mengembangkan Xbox Game Pass dan diyakini terdapat peluang pelanggan yang signifikan dengan potensi 750 juta pelanggan di seluruh dunia. Layanan ini menghadapi tiga dinamika konten utama, termasuk kebutuhan akan konten yang berbeda, perluasan melampaui batas konsol, dan penawaran konten yang terbatas.

Saya juga merasakan manfaatnya untuk memindai file PDF dan memeriksa data. Sistem Copilot milik Microsoft sendiri tidak dapat menangani PDF dalam Word, tetapi Mengobrol dengan RTX Nvidia tidak mengalami masalah dalam mengekstraksi semua informasi penting. Responsnya juga hampir seketika, tanpa jeda yang biasa Anda lihat saat menggunakan chatbot berbasis cloud seperti ChatGPT atau Copilot.

Kelemahan besar dari Ngobrol dengan RTX adalah adanya hal tersebut Sungguh rasanya seperti demo pengembang awal. Obrolan dengan RTX pada dasarnya menginstal server web dan instance Python di komputer Anda, yang kemudian menggunakan model Mistral atau Llama 2 untuk menanyakan data yang Anda masukkan. Kemudian menggunakan inti Tensor Nvidia pada GPU RTX untuk mempercepat kueri Anda.

Mengobrol dengan RTX tidak selalu akurat. Tangkapan layar oleh Tom Warren/The Verge

Diperlukan waktu sekitar 30 menit untuk menginstal Chat dengan RTX di komputer saya, yang ditenagai oleh prosesor Intel Core i9-14900K dengan GPU RTX 4090. Aplikasi ini berukuran hampir 40GB dan instance Python memakan sekitar 3GB RAM dari 64GB yang tersedia di sistem saya. Setelah berjalan, Anda mengakses obrolan RTX dari browser sementara baris perintah berjalan di latar belakang mengeluarkan apa yang sedang diproses dan kode kesalahan apa pun.

Nvidia tidak menawarkan ini sebagai aplikasi yang disempurnakan yang harus segera diunduh dan dipasang oleh semua pemilik RTX. Ada sejumlah masalah dan keterbatasan yang diketahui, termasuk atribusi sumber yang tidak selalu akurat. Awalnya saya juga mencoba membuat Obrolan dengan RTX mengindeks 25.000 dokumen, namun sepertinya aplikasinya mogok dan saya harus menghapus preferensi untuk memulai dari awal.

Chat dengan RTX juga tidak mengingat konteks, sehingga pertanyaan selanjutnya tidak bisa berdasarkan konteks pertanyaan sebelumnya. Itu juga membuat file JSON di folder yang ingin Anda indeks, jadi saya tidak akan merekomendasikan penggunaan ini di seluruh folder Dokumen Windows Anda.

Namun, saya sangat menyukai demo teknologi yang bagus dan Nvidia pasti menyampaikannya di sini. Hal ini menunjukkan potensi yang dapat dilakukan chatbot AI secara lokal di PC Anda di masa depan, terutama jika Anda tidak ingin berlangganan sesuatu seperti Copilot Pro atau ChatGPT Plus hanya untuk menganalisis file pribadi Anda.