Di sinilah peran AI Worm

Ketika sistem AI generatif seperti ChatGPT OpenAI dan Gemini Google menjadi lebih maju, penerapannya semakin meningkat. Startup dan perusahaan teknologi sedang membangun agen dan ekosistem di atas sistem AI yang dapat melakukan pekerjaan membosankan untuk Anda: misalnya pemesanan kalender otomatis dan potensi pembelian produk. Namun seiring dengan semakin banyaknya kebebasan yang dimiliki alat, potensi peretasan juga semakin besar.

Kini, untuk menunjukkan risiko ekosistem kecerdasan buatan yang terhubung dan otonom, sekelompok peneliti telah menciptakan apa yang mereka klaim sebagai worm kecerdasan buatan generatif pertama – yang dapat menyebar dari satu sistem ke sistem lainnya, berpotensi mencuri data atau menyuntikkan malware ke dalam sistem. proses. “Pada dasarnya, ini berarti Anda kini memiliki kemampuan untuk melakukan atau melakukan serangan siber jenis baru yang belum pernah ada sebelumnya,” kata Ben Nassi, peneliti Cornell Tech di balik penelitian tersebut.

Nassi, bersama dengan rekan peneliti Stav Cohen dan Ron Bitton, menciptakan worm yang disebut Morris II sebagai referensi terhadap worm komputer Morris asli yang menimbulkan kekacauan di Internet pada tahun 1988. peneliti menunjukkan bagaimana worm AI dapat menyerang asisten email AI generatif untuk mencuri data email dan mengirim pesan spam, sehingga merusak beberapa perlindungan keamanan di ChatGPT dan Gemini.

Penelitian tersebut, yang dilakukan di lingkungan pengujian dan bukan pada asisten email yang tersedia untuk umum, muncul pada saat model bahasa besar (LLM) semakin menjadi multimodal, yang mampu menghasilkan gambar dan video serta teks. Meskipun worm AI generatif belum ditemukan di dunia nyata, sejumlah peneliti mengatakan bahwa worm ini menimbulkan risiko keamanan yang harus diwaspadai oleh perusahaan rintisan, pengembang, dan perusahaan teknologi.

Sebagian besar sistem AI generatif bekerja berdasarkan petunjuk—instruksi teks yang memberi tahu alat untuk menjawab pertanyaan atau membuat gambar. Namun tantangan-tantangan ini juga dapat digunakan sebagai senjata melawan sistem. Jailbreak dapat menyebabkan sistem mengabaikan aturan keamanannya dan menyebarkan konten beracun atau kebencian, sementara serangan injeksi cepat dapat memberikan instruksi rahasia kepada chatbot. Misalnya, penyerang dapat menyembunyikan teks di halaman web yang memberitahu LLM untuk bertindak seperti penipu dan meminta rincian bank Anda.

Untuk menciptakan cacing AI generatif, para peneliti beralih ke apa yang disebut “musuh yang dapat mereplikasi diri.” Tantangan inilah yang memicu model AI generatif untuk memberikan tantangan lain sebagai responsnya, kata para peneliti. Singkatnya, sistem AI diperintahkan untuk membuat serangkaian instruksi tambahan dalam tanggapannya. Hal ini secara umum mirip dengan serangan injeksi SQL tradisional dan buffer overflow, kata para peneliti.

Untuk menunjukkan cara kerja worm tersebut, para peneliti menciptakan sistem email yang dapat mengirim dan menerima pesan menggunakan kecerdasan buatan generatif, menghubungkannya ke ChatGPT, Gemini, dan LLM open source, LLaVA. Mereka kemudian menemukan dua cara untuk mengeksploitasi sistem – menggunakan perintah tekstual yang mereplikasi diri dan menyematkan perintah yang mereplikasi diri ke dalam file gambar.