Boneka itu menjawab pertanyaan yang bersifat seksual dan bahkan menyarankan untuk mencoba praktik sado-masokisme. Perusahaan telah menghentikan penjualan.
OpenAI telah menangguhkan akses teknologinya kepada produsen mainan Singapura karena perilaku mengkhawatirkan yang ditunjukkan oleh boneka beruang dengan kecerdasan buatan, lapor laporan tersebut. Gizmodo.
Kontroversi dimulai ketika Public Interest Research Group (PIRG), sebuah organisasi nirlaba Amerika Utara yang berfokus pada perlindungan konsumen, menerbitkan sebuah laporan yang merinci tanggapan yang tidak pantas dari beberapa mainan dengan kecerdasan buatan, terutama Kumma, boneka beruang berbicara yang dibuat oleh FoloToy. Kumma menggunakan speaker internal dan mengandalkan model berbagai bahasa (LLM), termasuk GPT-4o OpenAI, untuk mengobrol.
Menurut peneliti PIRG, mainan tersebut menunjukkan “kurangnya penilaian” dalam menentukan tema mana yang sesuai untuk anak-anak. Dalam interaksi tes, Kumma dengan sigap berdiskusi di mana menemukan barang-barang rumah tangga yang berbahayaseperti pisau, korek api, pil dan kantong plastik. Mainan tersebut juga menjawab pertanyaan tentang narkoba, termasuk kokain, terkadang mendahului informasi dengan pengingat untuk “bertanya pada orang dewasa” namun tetap memberikan detail spesifik tentang benda berbahaya.
Mainan tersebut juga memberikan jawaban ketika peneliti memperkenalkan tema seksual. PIRG melaporkan bahwa Kumma dengan cepat mengubah pertanyaan sederhana menjadi deskripsi eksplisit, termasuk referensi praktik sado-masokisperbudakan atau permainan peran. Pada satu titik, beruang tersebut bahkan bertanya kepada pengguna aktivitas apa yang menurut mereka “paling menyenangkan untuk dijelajahi”.
Menyusul laporan tersebut, OpenAI menangguhkan akses FoloToy ke sistemnya. “Kami menangguhkan programmer ini karena melanggar kebijakan kami,” kata juru bicara OpenAI, menekankan bahwa peraturannya melarang keras penggunaan teknologi perusahaan untuk melakukan seksualisasi, membahayakan, atau mengeksploitasi anak di bawah umur.
FoloToy merespons menghentikan sementara semua penjualan dan menghapus produk mereka dari platform. Dalam sebuah pernyataan kepada PIRG, perusahaan tersebut mengatakan telah “menangguhkan penjualan semua produk FoloToy” dan sedang melakukan “audit keamanan menyeluruh di seluruh perusahaan.” Situs web Anda sekarang tidak menampilkan item apa pun yang tersedia untuk dibeli.
PIRG memuji tindakan cepat yang diambil oleh kedua perusahaan, namun memperingatkan bahwa sektor ini secara keseluruhan tetap ada sebagian besar tidak diatur. “Mainan AI sebagian besar masih belum diatur, dan banyak yang tersedia untuk dibeli saat ini,” kata organisasi tersebut, dengan alasan perlunya pengawasan yang lebih ketat.
