Peneliti Google telah menerbitkan model AI baru yang dapat mengambil teks, sketsa, atau ide dan mengubahnya menjadi dunia virtual yang dapat Anda gunakan untuk berinteraksi dan bermain.
Model dunia maya, yang disebut Genie, dilatih bermain game dan video lain yang ditemukan online dan saat ini hanya berupa pratinjau. Game ini lebih merupakan platformer 2D daripada VR penuh.
Meskipun mungkin masih jauh dari simulator sebenarnya seperti yang ada di Star Trek, hal ini menunjukkan bahwa suatu hari nanti mungkin saja kita masuk ke sebuah ruangan dan menciptakan petualangan yang sepenuhnya interaktif hanya dengan beberapa kata.
Apa itu Google Jin?
(Kredit gambar: Google Genie)
Dalam dunia kecerdasan buatan, orang berbicara tentang membuka kotak Pandora atau membiarkan jin keluar dari lampu untuk menggambarkan realitas kemampuan membuat konten dengan sedikit usaha. Kenyataannya adalah, seperti halnya seseorang menghabiskan waktu bertahun-tahun untuk mempelajari suatu keterampilan, model AI memerlukan pelatihan ekstensif.
Anda tidak bisa hanya menggosok lampu dan berharap jin keluar, Anda harus mengilhami lampu tersebut dengan ilmu dan kemampuan terlebih dahulu. Dalam kasus Genie, hal ini berasal dari “kumpulan data besar video internet yang tersedia untuk umum” dan banyak upaya para insinyur untuk membuat kode dan bobot untuk model tersebut.
Pimpinan tim DeepMind Google untuk Genie, Tim Rocktäschel, menulis di X bahwa tim berfokus pada skala menggunakan kumpulan data yang terdiri dari lebih dari 200.000 jam video dari platformer 2D.
Itu dilatih tanpa pengawasan dan menggunakan video tanpa label. Hal ini memungkinkan dia untuk mempelajari beragam gerakan karakter, kontrol dan tindakan dan melakukannya secara konsisten. Hasilnya, “model kami dapat mengubah gambar apa pun menjadi dunia 2D yang dapat dimainkan,” jelas Rocktäschel.
apa sebenarnya maksudnya?
Ada banyak alat di pasaran yang dapat mengambil grafik mockup situs web atau aplikasi dan mengubahnya menjadi kode.
Ini tidak selalu merupakan kode terbaik, tetapi ini menciptakan prototipe kerja yang dapat digunakan. Ada juga alat kecerdasan buatan untuk membuat situs web dari perintah teks.
Dengan Genie, pada dasarnya Anda dapat memberikannya sketsa di selembar kertas, karya seni digital yang dibuat dengan sempurna, atau bahkan representasi dunia 2D yang dihasilkan AI, dan Genie akan melakukan sisanya.
Sangat bersemangat untuk mengungkap apa yang telah dilakukan tim Open Endedness @GoogleDeepMind 🚀. Memperkenalkan Genie 🧞, model dunia dasar yang dilatih sepenuhnya dari video internet yang dapat menghasilkan rangkaian dunia 2D yang dapat dikontrol aksi tanpa batas berdasarkan instruksi visual. pic.twitter.com/TnQ8uv81wc 26 Februari 2024
Lihat selengkapnya
Ini menghasilkan gambar dan aset lain yang diperlukan untuk mengubah sketsa Anda menjadi dunia terbuka yang sepenuhnya terwujud, dan kemudian memprediksi bingkai piksel berikutnya berdasarkan tindakan yang diberikan pemain.
Pembuatnya menggunakan tokenizer yang mengompresi video menjadi token terpisah. Ini kemudian dikirim ke model tindakan untuk mengkodekan transisi antara dua frame sebagai salah satu dari delapan tindakan laten. Kemudian model lain digunakan untuk memprediksi gambaran masa depan.
Solusi untuk menyatukan semuanya sama dengan solusi terobosan OpenAI dengan Sora – banyak data dan daya komputasi yang sama besarnya.
Bagaimana nasib Jin selanjutnya?
(Kredit gambar: Google Genie)
Genie tidak memiliki tanggal rilis, dan sebagai proyek penelitian, tidak jelas apakah itu akan menjadi produk nyata. Ada kemungkinan suatu hari nanti Anda dapat mengambil salah satu ponsel Android terbaik dan meminta Asisten membuatkan Anda game menghindari vampir — tetapi tidak untuk beberapa tahun.
Yang lebih penting adalah teknologi dasar dan pendekatan baru terhadap pembuatan konten yang dikembangkan selama pembuatannya, termasuk pembelajaran tanpa label yang mengarah ke dunia terbuka.
Rocktäschel menantang Sora di X, khususnya gagasan bahwa itu adalah “model dunia”. Ia mengatakan bahwa meskipun mengesankan dan memukau secara visual, “model dunia membutuhkan ‘aksi’. Dia menambahkan bahwa “Genie adalah model dunia yang digerakkan oleh tindakan, namun dilatih sepenuhnya tanpa pengawasan dari video.”
Terobosan besar lainnya yang datang bersama Genie adalah pemahaman yang lebih mendalam tentang fisika dunia nyata, yang dapat digunakan untuk melatih robot agar dapat menavigasi lingkungan secara lebih efektif atau melakukan tugas-tugas yang tidak termasuk dalam pelatihan mereka.
+ There are no comments
Add yours