Sejak peluncuran ChatGPT yang menakjubkan, dunia komputasi telah menunggu chatbot AI lokal yang dapat berjalan tanpa sambungan dari cloud. Nvidia kini memiliki jawabannya dengan Ngobrol dengan RTX, chatbot AI lokal yang memungkinkan Anda menggunakan model AI untuk menavigasi data offline Anda.
Dalam panduan ini, kami akan menunjukkan cara mengatur dan menggunakan Chat dengan RTX. Ini hanyalah demo, jadi mungkin ada beberapa bug saat bekerja dengan alat ini. Namun diharapkan hal ini akan membuka pintu bagi lebih banyak chatbot AI lokal dan alat AI lokal lainnya.
Cara mengunduh Obrolan dengan RTX
Langkah pertama adalah mengunduh dan mengonfigurasi Obrolan dengan RTX, yang sebenarnya sedikit lebih rumit dari yang Anda duga. Yang harus Anda lakukan hanyalah menjalankan penginstal, namun penginstal tersebut rawan crash dan Anda harus memenuhi persyaratan sistem minimum tertentu.
Anda memerlukan GPU seri RTX 40 atau 30 dengan VRAM minimal 8 GB, RAM sistem 16 GB, ruang disk 100 GB, dan Windows 11.
Langkah 1: Unduh penginstal Obrolan dengan RTX dari situs web Nvidia. Folder terkompresi ini berukuran 35 GB, jadi mungkin perlu beberapa saat untuk mengunduh.
Langkah 2: Setelah pengunduhan selesai, klik kanan pada folder tersebut dan pilih Ekstrak semuanya.
Jacob Roach / Tren Digital
Langkah 3: Di dalam folder tersebut Anda akan menemukan beberapa file dan folder. Memilih setup.exe dan buka penginstal.
Langkah 4: Sebelum memulai penginstalan, penginstal akan menanyakan di mana Anda ingin menyimpan Obrolan dengan RTX. Pastikan Anda memiliki setidaknya 100 GB ruang disk di lokasi yang Anda pilih, karena Obrolan dengan RTX sebenarnya mengunduh model AI.
Jacob Roach / Tren Digital
Langkah 5: Penginstal dapat memakan waktu hingga 45 menit untuk menyelesaikannya, jadi jangan khawatir jika Anda melihatnya terhenti sebentar. Ini juga dapat memperlambat komputer Anda, terutama saat mengonfigurasi model AI, jadi sebaiknya mundur sebentar hingga penginstalan selesai.
Langkah 6: Instalasi mungkin gagal. Jika demikian, cukup jalankan kembali penginstal dan pilih lokasi yang sama untuk data seperti sebelumnya. Penginstal akan melanjutkan dari bagian terakhirnya.
Langkah 7: Setelah penginstal selesai, pintasan Obrolan dengan RTX akan muncul di desktop Anda dan aplikasi akan terbuka di jendela browser.
Cara menggunakan obrolan dengan RTX dengan data Anda
Keuntungan besar Mengobrol dengan RTX adalah Anda dapat menggunakan data Anda sendiri. Ini menggunakan sesuatu yang disebut augmented search generation, atau RAG, untuk menelusuri dokumen dan memberikan jawaban berdasarkan dokumen tersebut. Daripada menjawab pertanyaan apa pun, Obrolan dengan RTX bagus dalam menjawab pertanyaan spesifik tentang kumpulan data tertentu.
Nvidia menyertakan beberapa contoh data untuk Anda coba alat ini, namun Anda perlu menambahkan data Anda sendiri untuk membuka potensi penuh dari Chat dengan RTX.
Langkah 1: Buat folder untuk menyimpan kumpulan data Anda. Catat lokasinya karena Anda perlu mengarahkan Chat dengan RTX ke folder ini. Obrolan dengan RTX saat ini mendukung file .txt, .pdf, dan .doc.
Langkah 2: Buka Obrolan dengan RTX dan pilih ikon pena v Himpunan data bagian.
Jacob Roach / Tren Digital
Langkah 3: Arahkan ke folder tempat Anda menyimpan data dan pilih.
Langkah 4: Di Obrolan dengan RTX, pilih ikon segarkan v Himpunan data bagian. Ini akan menghasilkan model berdasarkan data baru. Anda ingin memperbarui model setiap kali Anda menambahkan data baru ke folder atau memilih kumpulan data yang berbeda.
Jacob Roach / Tren Digital
Langkah 5: Setelah menambahkan data, pilih model yang ingin Anda gunakan pada Model AI. Obrolan dengan RTX mencakup Llama 2 dan Mistral, dengan Mistral sebagai defaultnya. Bereksperimenlah dengan keduanya, tetapi Mistral adalah yang terbaik untuk pengguna baru.
Langkah 6: Dari sana Anda bisa mulai mengajukan pertanyaan. Nvidia mencatat bahwa Chat dengan RTX peka terhadap konteks, jadi respons sebelumnya tidak memengaruhi respons di masa mendatang. Selain itu, pertanyaan spesifik umumnya akan memberikan hasil yang lebih baik daripada pertanyaan umum. Terakhir, Nvidia mencatat bahwa Obrolan dengan RTX terkadang merujuk pada data yang salah saat memberikan jawaban, jadi ingatlah itu.
Langkah 7: Jika Obrolan dengan RTX berhenti berfungsi dan reboot tidak menyelesaikannya, Nvidia mengatakan Anda dapat memperbaiki masalah dengan menghapus file preferensi.json. Ini terletak di C:\Users\\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.
Cara menggunakan obrolan dengan RTX di YouTube
Selain data Anda sendiri, Anda dapat menggunakan Chat dengan RTX dengan video YouTube. Model AI didasarkan pada transkrip dari video YouTube, jadi ada beberapa keterbatasan yang melekat.
Pertama, model AI tidak melihat apa pun yang tidak termasuk dalam transkrip. Misalnya, Anda tidak bisa menanyakan seperti apa rupa seseorang dalam sebuah video. Selain itu, transkrip YouTube tidak selalu sempurna. Video dengan subtitle yang berantakan mungkin tidak mendapatkan jawaban yang Anda inginkan.
Langkah 1: Buka Obrolan dengan RTX dan v Himpunan data pilih menu tarik-turun dan pilih Youtube.
Langkah 2: Tempelkan tautan ke video atau daftar putar YouTube pada kotak di bawah. Di sebelah bidang ini Anda akan menemukan nomor yang menunjukkan jumlah maksimum transkrip yang ingin Anda unduh.
Jacob Roach / Tren Digital
Langkah 3: Pilih tombol unduh di sebelah kotak ini dan tunggu hingga transkrip selesai diunduh. Setelah selesai, klik tombol pulihkan.
Langkah 4: Setelah transkripsi selesai, Anda dapat mengobrol seperti yang Anda lakukan dengan data Anda sendiri. Pertanyaan spesifik lebih baik daripada pertanyaan umum, dan jika Anda mengobrol tentang beberapa video, obrolan RTX mungkin mendapatkan referensi yang salah jika pertanyaan Anda terlalu umum.
Langkah 5: Jika Anda ingin mengobrol tentang kumpulan video baru, Anda harus menghapus transkrip lama secara manual. Di sebelah tombol segarkan Anda akan menemukan tombol untuk membuka jendela Explorer. Pergilah ke sana dan hapus transkrip jika Anda ingin mengobrol tentang video lain.
Rekomendasi redaksi
+ There are no comments
Add yours