Discord mengakui bug moderasi AI secara salah melarang pengguna karena gambar yang tidak berbahaya
Discord telah mengakui bahwa bug dalam sistem moderasi AI-nya secara keliru melarang lebih dari 8.000 pengguna selama dua bulan terakhir, setelah gambar-gambar yang tidak berbahaya—termasuk spreadsheet, papan catur, tekstur permainan, serta latar belakang transparan berwarna putih dan abu-abu—salah ditandai sebagai konten berbahaya. Perusahaan mengkonfirmasi bahwa masalah ini telah mempengaruhi akun sejak Mei, dengan tambahan 200 pengguna yang diblokir selama akhir pekan sebelum timnya mengidentifikasi dan memperbaiki masalah tersebut. Semua akun yang terpengaruh saat ini sedang dalam proses pemulihan. Insiden ini menyoroti salah satu tantangan yang berkembang seputar moderasi yang dibantu AI karena banyak platform semakin bergantung pada sistem otomatis untuk mengidentifikasi materi ilegal atau kasar dalam skala besar. Dalam thread rinci tentang X, Discord menjelaskan bahwa sistem keamanan otomatisnya bekerja dengan mencocokkan konten yang diunggah dengan database materi berbahaya yang diketahui. Meskipun teknologi ini dirancang untuk menangkap konten ilegal, perusahaan mengakui bahwa teknologi ini terkadang dapat menghasilkan kesalahan positif. Moderator manusia meninjau konten, namun bug menyebabkan sistem segera memblokir akun yang terpengaruh. “Kami sedang mengupayakan perlindungan yang lebih baik agar hal ini tidak terjadi lagi,” tulis perusahaan itu. Sistem kami menandai konten dengan mencocokkannya dengan materi berbahaya yang diketahui. Pencocokan kesamaan semacam ini dapat menghasilkan kesalahan positif, itulah sebabnya anggota tim Kepercayaan & Keamanan kami selalu meninjau konten yang ditandai sebelum tindakan apa pun diambil. Perilaku yang dimaksudkan adalah untuk…— Dukungan Discord (@discord_support) 7 Juli 2026 Di X dan Reddit, pengguna mengklaim bahwa mereka telah ditangguhkan secara permanen hanya karena mengunggah gambar yang berisi pola kotak persegi. Beberapa pengguna berspekulasi bahwa alat moderasi AI Discord menjadi semakin sensitif terhadap pola seperti grid karena alat tersebut sebelumnya telah digunakan dalam upaya mengaburkan atau menyamarkan konten NSFW dan eksploitasi anak dari sistem deteksi otomatis. Pengguna yang terkena dampak telah mengungkapkan rasa frustrasinya di media sosial, dengan beberapa orang berpendapat bahwa pemblokiran akun permanen hanya berdasarkan deteksi otomatis dapat menimbulkan konsekuensi serius, terutama bagi pengguna yang mengandalkan Discord untuk bekerja, komunitas game, atau koneksi sosial jarak jauh. “Kehilangan akun Discord karena sesuatu yang tidak adil seperti ini bisa sangat merugikan dan berdampak buruk pada pengguna, dan setiap hari jutaan pengguna terkena dampak larangan AI palsu. Hal ini perlu dihentikan,” tulis salah satu pengguna X. Akun saya diblokir secara tidak sah dari platform Anda karena bug di automod AI Anda yang mendeteksi TEKSTUR GAME saya sebagai CSAM. Saya memerlukan akun saya kembali karena saya adalah direktur permainan dan menggunakan Discord untuk semua komunikasi saya. Saya telah meminta peninjauan atas penangguhan saya.@discord @discord_support pic.twitter.com/QfAkCIJo6S— JDBRYANT HARI INI (@jdbryantdev) 4 Juli 2026 Discord tidak sendirian dalam menghadapi masalah moderasi karena sistem otomatis. Tahun lalu, pengguna Grup Instagram dan Facebook melaporkan penangguhan akun secara luas tanpa alasan yang jelas, yang diyakini banyak orang disebabkan oleh sistem moderasi AI. Meskipun pengguna menyebut otomatisasi sebagai kemungkinan penyebabnya, Meta tidak pernah mengonfirmasi secara terbuka apakah kesalahan AI adalah penyebabnya. Kini, Dewan Pengawas Meta mendorong peningkatan transparansi. Tumblr tahun lalu juga menghadapi keluhan dari pengguna yang mengatakan akun mereka telah ditangguhkan secara massal tanpa penjelasan yang jelas. Saat Anda membeli melalui tautan di artikel kami, kami mungkin mendapat komisi kecil. Hal ini tidak mempengaruhi independensi editorial kami.
Diterbitkan : 2026-07-07 19:28:00
sumber : techcrunch.com
