tonton sora openAI membuat video realistis

OpenAI memperkenalkan model teks-ke-video, Sora

OpenAI meluncurkan model pembuatan video baru, Sora, yang dapat membuat video AI realistis hanya dengan perintah dan instruksi teks. Dalam wawancara baru-baru ini dengan Bill Gates, CEO OpenAI, Sam Altman, menyebutkan masa depan ChatGPT, yang ia harap juga dapat menghasilkan video dari teks. Impian tersebut akhirnya menjadi kenyataan dalam bentuk Sora, dan model AI text-to-video dapat menghasilkan video berdurasi hingga satu menit, klaim tim OpenAI, “menjaga kualitas visual dan mengikuti instruksi pengguna.”

gambar dan video milik OpenAI

OpenAI telah merilis serangkaian demo dari model text-to-video Sora yang baru. Perintah teks perlu dirinci agar video yang dihasilkan dapat menangkap visual yang diminta pengguna. Untuk saat ini, Sora dapat memahami instruksi panjang seperti “Kamera bergerak di sekitar tumpukan besar televisi kuno yang menayangkan berbagai program – film fiksi ilmiah tahun 1950-an, horor, berita, gambar diam, komedi situasi tahun 1970-an, dll., yang berlangsung di New York yang megah. galeri museum.’

tantangan: cuplikan film yang menampilkan petualangan astronot berusia 30 tahun dengan helm sepeda motor rajutan wol merah, langit biru, gurun garam, gaya film, direkam pada film 35 mm, warna cerah.

OpenAI juga mencoba perintah teks seperti ‘Pemandangan bola kaca dari dekat yang memiliki taman Zen di dalamnya. Di dalam bola tersebut terdapat seorang kurcaci kecil yang sedang menggali taman Zen dan membuat pola di pasir” dan “Video Perayaan Tahun Baru Imlek Naga Cina”. Sora melakukan kedua tantangan tersebut menggunakan klip berdurasi satu detik yang menjaga kualitas video AI yang realistis. OpenAI mengatakan Sora menggunakan arsitektur transformator yang mirip dengan model GPT-nya, yang membantu meningkatkan kinerja dan kualitas video.

tantangan: anak anjing golden retriever bermain di salju. Kepala mereka mencuat dari salju, terkubur

Selain menghasilkan video AI dari teks, OpenAI Sora juga dapat mengubah gambar diam yang ada menjadi video bergerak. Ini adalah fitur yang dapat ditawarkan oleh model teks-ke-video, dan OpenAI juga mengatakan bahwa Sora bahkan dapat mengambil video yang ada dan memperluasnya atau mengisi bingkai yang hilang. Itu juga dapat menghasilkan seluruh video sekaligus atau memperluas video yang dihasilkan ini agar lebih panjang. ‘Sora adalah model difusi yang menghasilkan video dengan memulai dengan apa yang tampak seperti derau statis dan secara bertahap mengubahnya dengan menghilangkan derau dalam beberapa langkah,’ kata OpenAI.

cepat: adegan langkah seseorang berlari, gambar bergerak diambil pada 35mm.

Apa kelebihan Sora OpenAI?

Di tengah model baru, konversi teks-ke-video Sora masih memiliki lubang yang harus diisi. OpenAI mengakui kelemahan modelnya, menyatakan bahwa Sora mungkin mengalami kesulitan memahami fisika adegan atau mungkin tidak memahami beberapa kasus sebab dan akibat. “Misalnya, seseorang mungkin menggigit kue, tapi mungkin tidak ada bekas kuenya setelahnya,” kata OpenAI. Faktanya, Sora bisa bergerak ke kiri dan ke kanan, seperti yang terlihat dalam video buatan AI yang menunjukkan seorang pria berlari di atas treadmill dengan arah berlawanan.

tantangan: kamera mengamati tumpukan besar televisi antik, semuanya menayangkan program berbeda – film fiksi ilmiah tahun 1950-an, horor, berita, gambar diam, komedi situasi tahun 1970-an, dll., bertempat di galeri museum besar di New York.

Efek aneh penting lainnya yang dapat ditimbulkan oleh Sora OpenAI sejauh ini adalah munculnya objek lain yang tidak tercantum dalam teks petunjuknya, seperti hewan atau manusia yang muncul secara spontan. Dalam salah satu video demo, bola basket tersebut bahkan menyulut jaring ring, menyebabkannya meledak; lalu tiba-tiba sebuah bola basket baru muncul entah dari mana dan terbang melewati ring ring seperti hantu. Bahkan pergerakan kameranya pun masih bisa menjadi rumit sehingga video AI yang dihasilkan menjadi goyang atau tidak stabil.

Tantangan: Video Perayaan Imlek dengan Naga Cina

Sejak menerbitkan cerita tersebut, OpenAI hanya memberikan akses ke model text-to-video Sora kepada sejumlah seniman visual, desainer, dan pembuat film untuk mendapatkan masukan tentang cara meningkatkan model tersebut agar berguna bagi para profesional kreatif. .’ Meskipun mereka belum dapat menggunakannya, para penggemar perusahaan sudah siap untuk menggunakan model AI itu sendiri, tetapi pihak lain juga mempertimbangkan potensi risiko yang mungkin timbul dari model generatif ini.