Model pembuatan video OpenAI, Sora, dapat melakukan hal ini

Terima kasih untuk gambarnya: OpenAI

OpenAI adalah hal baru – dan yang pertama! — Model penghasil video, Sora, dapat menghasilkan beberapa prestasi sinematik yang sangat mengesankan. Tapi modelnya seimbang lagi lebih mumpuni dibandingkan OpenAI, setidaknya menurut buku putih yang diterbitkan malam ini.

Makalah yang berjudul “Video Generation Models as World Simulators,” yang ditulis bersama oleh sejumlah peneliti OpenAI, mengungkap aspek-aspek utama arsitektur Sora—misalnya, mengungkapkan bahwa Sora dapat menghasilkan video dengan resolusi dan rasio aspek apa pun ( hingga 1080p). Menurut artikel tersebut, Sora mampu melakukan berbagai tugas pengeditan gambar dan video, mulai dari membuat video perulangan, meregangkan video maju atau mundur, hingga mengubah latar belakang video yang sudah ada.

Namun yang paling menarik bagi penulis ini adalah kemampuan Sora untuk “mensimulasikan dunia digital”, seperti yang dikatakan oleh rekan penulis OpenAI. Dalam sebuah eksperimen, OpenAI meluncurkan Sora di Minecraft, membiarkannya merender dunia—dan dinamikanya, termasuk fisika—sambil mengendalikan pemain.

Sora mengontrol pemain di Minecraft – dan menjadikan dunia video game seperti yang dilakukannya. Perhatikan bahwa grain diperkenalkan oleh pengonversi video ke GIF, bukan Sora. Terima kasih untuk gambarnya: OpenAI

Jadi bagaimana Sora melakukannya? Seperti yang dicatat oleh peneliti utama Nvidia Jim Fan (melalui Quartz ), Sora lebih merupakan “mesin fisika berbasis data” daripada mesin kreatif. Ini bukan hanya tentang menghasilkan satu foto atau video, ini tentang menentukan fisika setiap objek di lingkungan—dan merender foto atau video (atau mungkin dunia 3D interaktif) berdasarkan perhitungan tersebut.

“Kemampuan ini menunjukkan bahwa penskalaan model video yang berkelanjutan adalah cara yang menjanjikan untuk mengembangkan simulator berkemampuan tinggi dari dunia fisik dan digital serta objek, hewan, dan manusia yang menghuninya,” tulis rekan penulis.

Pembatasan video game Sora yang biasa sekarang berlaku. Model tersebut tidak dapat secara akurat memperkirakan fisika interaksi fundamental seperti pecahan kaca. Dan itu termasuk interaksi mampu untuk modelnya, Sora sering kali tidak konsisten — misalnya, membuat seseorang sedang makan hamburger tetapi gagal membuat bekas gigitan.

Namun, jika saya membaca koran dengan benar, sepertinya Sora dapat membuka jalan bagi permainan yang lebih realistis—bahkan mungkin fotorealistik—yang dihasilkan secara prosedural. Ini sama-sama menarik dan menakutkan (pertimbangkan implikasi deepfake, misalnya) – mungkin itulah sebabnya OpenAI memutuskan untuk menyertakan Sora di belakangnya. sangat program akses terbatas.

Kami berharap dapat belajar lebih banyak secepatnya.