Un nuovo bot di intelligenza artificiale diffuso principalmente in Russia e nell’Europa orientale ha creato immagini di nudo false di oltre 680.000 donne.
Secondo i ricercatori tecnologici, oltre 680.000 donne non hanno idea che le loro foto siano state caricate su un bot sull’app di messaggistica Telegram per produrre immagini di nudo simulate fotorealistiche senza la loro conoscenza o il loro consenso.
Lo strumento consente alle persone di creare un deepfake, un’immagine generata dal computer, di una vittima da una singola foto.
Sensity, una società di intelligence sulle minacce visive con sede ad Amsterdam, ha scoperto la rete Telegram di 101.080 membri, il 70% dei quali risiedeva in Russia o nell’Europa orientale.
“Questo è unico perché non sono solo le persone che parlano o le persone che condividono contenuti, è effettivamente incorporato in Telegram e non abbiamo trovato mai qualcosa di simile”, ha affermato Giorgio Patrini, CEO e chief scientist di Sensity.
Circa 104.852 immagini di donne sono state pubblicate pubblicamente nell’app, con il 70% delle foto proveniente da social media o fonti private. Un piccolo numero di queste vittime sembrava essere minorenne. Il resto delle immagini è stato probabilmente condiviso in privato, dicono i ricercatori.
A differenza degli algoritmi che realizzano video deepfake, inclusi video sessuali non consensuali, il bot di Telegram non ha bisogno di migliaia di immagini per funzionare. Ne basta uno, “che è davvero un motivo per cui così tanti privati vengono attaccati, perché per farlo è sufficiente una sola immagine del profilo di Facebook”, ha detto Patrini.
Questa molestia sembra avvenire senza la conoscenza o il consenso delle donne fotografate, la stragrande maggioranza delle quali sono private cittadine piuttosto che celebrità o influencer.
“Non appena condividi immagini o video di te stesso e forse non sei così consapevole della privacy di questo contenuto, chi può vederlo, chi può rubarlo, chi può scaricarlo a tua insaputa, che si apre effettivamente la possibilità di un attacco”, ha detto Patrini.
Nina Jankowicz, autrice di How to Lose the Information War, ha affermato che questa app mostra che i deepfake vanno oltre la politica. Per Jankowicz, le preoccupazioni per le implicazioni sulla sicurezza nazionale di un convincente video falso eludono la realtà che la tecnologia è ampiamente utilizzata per maltrattare le donne.
“È davvero inquietante quanto sia accessibile”, ha detto Jankowicz. “Francamente, ciò che abbiamo visto condiviso come prova del crescente fenomeno del falso, i piccoli stupidi video di Joe Biden che il presidente Trump ha condiviso, per esempio, sono molto meno sofisticati di quello di cui stiamo parlando.”
Jankowicz ha affermato che l’app ha enormi implicazioni per le donne di tutto il mondo, specialmente nei paesi socialmente più conservatori come la Russia. Le vittime potrebbero essere a rischio di perdere il lavoro e il sostentamento se una foto di nudo convincente ma falsa fosse resa pubblica. Alcuni potrebbero subire la violenza del partner.
“Essenzialmente, questi deepfake vengono utilizzati per soddisfare la fantasia malata di un amante smarrito, o un fidanzato, o semplicemente un mostro totale”, ha detto Jankowicz. “Oppure sono usati come potenziale materiale di ricatto”.
L’app e la facilità di accessibilità parlano di temi più ampi di molestie e abusi online che le donne affrontano online – qualcosa che Jankowicz ha sperimentato in prima persona.
“Tutto questo è parte integrante del più ampio abuso e molestia che le donne devono affrontare nell’ambiente online, sia che si tratti solo di troll o che si tratti di abusi sessuali provenienti da tutti i lati dello spettro politico”, ha detto Jankowicz. “È usato come arma per cercare di spingere le donne fuori dalla sfera pubblica. Questa è solo un’estensione di ciò.”
Sebbene Patrini e il suo team non abbiano trovato prove che queste immagini vengano utilizzate per estorsioni di donne, temono che la possibilità si stia avvicinando rapidamente.
I nudi profondi spesso prendono di mira le celebrità, ma questa rete sembra essere più concentrata su persone che non sono famose. Secondo un sondaggio di persone che utilizzano i canali Telegram da parte delle persone che li gestiscono, il 63% degli utenti ha dichiarato di essere interessato alle donne che conoscevano.
“Nel settore, almeno, è un problema noto in una certa misura”, ha detto Patrini, “ma faccio davvero fatica a credere che a livello di privati cittadini sia conosciuto da chiunque”.
Secondo Sensity, “Tutti i dati sensibili scoperti durante le indagini dettagliate in questo rapporto sono stati divulgati a Telegram, [sito di social media russo] VK e alle autorità di polizia competenti. Non abbiamo ricevuto risposta da Telegram o VK al momento della pubblicazione di questo rapporto.”
Patrini ha sottolineato che i cosiddetti “robot porno” vanno contro i termini di servizio di Telegram.
Il bot è stato pubblicizzato su VK, con attività di rilevamento di Sensity su 380 pagine del sito.
“VK non tollera tali contenuti o collegamenti sulla piattaforma e blocca le comunità che li distribuiscono. Inoltre, tieni presente che tali comunità o collegamenti non sono stati promossi utilizzando gli strumenti pubblicitari di VK “, ha detto un portavoce di VK a BuzzFeed News dopo la pubblicazione di questo articolo. “Eseguiremo un ulteriore controllo e bloccheremo contenuti e community inappropriati”.
Questo strumento, che Spcnet sta rifiutando di nominare, consente alle persone di produrre deepfake sui telefoni cellulari, generando in remoto le immagini prima di rispedirle all’utente. Il bot, che funziona solo su immagini di donne, fornisce gratuitamente immagini con filigrana e immagini senza filigrane per un costo di circa $ 1,50. I clienti possono anche guadagnare denaro indirizzando altri al servizio.
“Questo è il fenomeno di questa tecnologia che diventa una merce”, ha detto Patrini. “Nessuna competenza tecnica richiesta, nessun hardware specializzato, nessuna infrastruttura speciale o accessibilità a servizi specifici difficili da raggiungere.”
Secondo Sensity, sette canali Telegram che utilizzavano il bot avevano attirato un totale di 103.585 membri entro la fine di luglio, un anno dal lancio dello strumento, con il canale più popolato con 45.615 persone.
Patrini ha ribadito che mentre molte persone temono come la tecnologia deepfake possa essere utilizzata in politica, il suo effettivo utilizzo diffuso è lo sfruttamento delle donne online.
“Questo non è un problema di un sistema democratico elevato, almeno principalmente. Questo non è un problema solo per personaggi pubblici e celebrità, ma sarà un problema per tutti, purtroppo molto presto”, ha detto Patrini. “Già oggi è un problema per centinaia di migliaia di persone”.
