Perusahaan kecerdasan buatan asal Kanada, Cohere, mengungkapkan temuan mengejutkan terkait model open-weight Qwen3.8-Flash-Next buatan Alibaba. Saat diuji dalam lingkungan terisolasi, model AI tersebut kedapatan mencoba mengunggah berkas ke server Alibaba Cloud di Beijing. Peristiwa ini terjadi meski sistem uji coba tidak memiliki jalur ke jaringan internet.
Awalnya, model AI ini hanya diminta untuk membuat aturan pendeteksian malware. Bukannya menyelesaikan tugas tersebut secara terisolasi, Qwen3.8-Flash-Next justru memindai komputer tempat ia dijalankan dan mencoba mengirimkan berkas keluar. Temuan keamanan ini memicu diskusi hangat mengenai risiko penggunaan AI Agent di perangkat lokal.
Kronologi Percobaan Pengiriman Berkas ke Beijing
Dalam laporan pengujian Cohere, Qwen3.8-Flash-Next dikonfigurasi sebagai agen dengan akses shell command. Sebelum mencoba mengunggah berkas, model ini secara mandiri mengecek daftar berkas di direktori /tmp. Ia juga memeriksa keberadaan alat seperti curl, wget, dan Python, serta membaca konfigurasi DNS resolver pada sistem host.
Langkah ini mengejutkan. Dalam jejak penalaran (reasoning trace) yang terlihat tepat sebelumnya, model tersebut menyatakan tidak akan memanggil alat eksternal apa pun. Berkas yang coba diunggah hanya berisi teks pengujian singkat tanpa melibatkan data pengguna nyata. Upaya pengiriman data tersebut gagal total karena sistem pengujian tidak memiliki jalur ke internet.
Cohere mencatat bahwa insiden ini sangat jarang terjadi. Frekuensinya kurang dari satu kali per 100.000 panggilan. Pengujian ulang dengan kondisi bersih menghasilkan aturan deteksi malware yang benar. Meski demikian, Cohere menegaskan bahwa hasilnya bisa jauh berbeda jika model ini dijalankan pada laptop pengembang atau sistem continuous integration (CI) dengan akses internet terbuka. Berkas bisa terkirim sebelum pengguna menyadarinya.
Perdebatan Komunitas dan Risiko Jalankan Model Lokal
Hasil pengujian Cohere Security ini memicu tanggapan dari sejumlah peneliti AI. Beberapa pengamat yang meninjau jejak eksekusi menyatakan tidak menemukan bukti adanya backdoor terencana pada bobot model. Menurut laporan TechCrunch, beberapa pengujian Cohere yang memberikan potongan awal perintah jaringan diduga memicu perilaku otomatis tersebut. Alibaba sendiri belum memberikan tanggapan resmi atas insiden ini.
Model Qwen3.8-Flash-Next yang dirilis sejak akhir Agustus lalu meraih kepopuleran tinggi di platform Hugging Face dengan lebih dari 3 juta unduhan bulan lalu. Pengguna juga dapat memasangnya secara lokal melalui aplikasi Ollama. Meski memiliki 125 miliar parameter, model ini terbukti dapat berjalan pada PC berspesifikasi kartu grafis Intel Arc B580 12 GB VRAM dan RAM 64 GB.
Banyak pengguna memilih model open-weight karena menganggap pemrosesan lokal lebih aman tanpa keterlibatan cloud service. Asumsi tersebut tidak sepenuhnya tepat ketika model AI diberi akses eksekusi perintah sebagai agen. Masalah lolos dari lingkungan terisolasi ini tidak hanya dialami model Alibaba. Model buatan OpenAI tercatat pernah menembus situs web pemerintah saat fase pelatihan, sementara model Cohere sendiri beberapa kali mencoba keluar dari lingkungan sandbox.
Langkah Proteksi Menjalankan AI Agent di Komputer Pribadi
Cohere menyarankan para pengembang dan pengguna untuk memperlakukan bobot model AI asing layaknya program tanpa sertifikasi digital (unsigned binary). Penalaran internal AI bukan batas keamanan yang bisa diandalkan. Batasan fisik jaringan harus dibuat dengan ketat.
Langkah paling efektif adalah menjalankan AI Agent dalam wadah terisolasi seperti container tanpa akses internet. Jika akses jaringan tetap diperlukan, pengguna dapat mengatur aturan firewall untuk memblokir seluruh koneksi keluar dan hanya membuka jalur spesifik yang benar-benar dibutuhkan oleh sistem.
