Podcast RSI - Taylor Swift attaccata online con foto falsificate usando l’IA

Il Disinformatico

È disponibile subito il podcast di oggi de Il Disinformatico della Radiotelevisione Svizzera, scritto, montato e condotto dal sottoscritto: lo trovate qui sul sito della RSI (si apre in una finestra/scheda separata) e lo potete scaricare qui.

Le puntate del Disinformatico sono ascoltabili anche tramite iTunes, Google Podcasts, Spotify e feed RSS.

---

[CLIP: traccia vocale di Shake It Off di Taylor Swift]

Pochi giorni fa qualcuno ha pubblicato su Twitter delle immagini molto esplicite di Taylor Swift, generate con un software di intelligenza artificiale, e gli addetti di Twitter non sono stati in grado di impedire che queste immagini venissero condivise milioni di volte. I suoi fan sono accorsi in sua difesa, pubblicando in massa immagini vere della cantante in modo da sommergere quelle false. Ma cosa succede a chi non ha un esercito mondiale di fan ed è vittima di un attacco di questo genere?

Sono Paolo Attivissimo, e oggi provo a fare il punto della situazione delle molestie inflitte tramite immagini sintetiche, sempre più diffuse e facili da realizzare, e a vedere se ci sono soluzioni praticabili a questo problema.

Benvenuti alla puntata del 2 febbraio 2024 del Disinformatico, il podcast della Radiotelevisione Svizzera dedicato alle notizie e alle storie strane dell’informatica.

[SIGLA di apertura]

Impreparazione e incoscienza delle grandi aziende informatiche

Il 25 gennaio scorso su X, il social network un tempo chiamato Twitter che molti continuano a chiamare Twitter, sono apparse immagini pornografiche false della popolarissima cantante Taylor Swift, generate tramite software di intelligenza artificiale di Microsoft [la RSI nota che la diffusione delle immagini ha coinciso con l’avvio di una campagna di odio e complottismo contro Swift da parte dell’estrema destra statunitense e dei sostenitori di Donald Trump].

Una di queste immagini è stata vista 47 milioni di volte e ricondivisa circa 24.000 volte, ricevendo centinaia di migliaia di like, prima che qualcuno dei responsabili del social network di Elon Musk si svegliasse e intervenisse ben 17 ore dopo, chiudendo l’account che l’aveva pubblicata [New York Times; The Verge].

Ma le immagini hanno continuato a circolare su Twitter, ridiffuse da altri account e su altri social network, finché Twitter ha deciso di bloccare completamente la possibilità di cercare il nome di Taylor Swift [BBC]; una soluzione rozza e drastica che rivela l’impreparazione del social network di Elon Musk a gestire una crisi ampiamente prevedibile, soprattutto dopo che Musk nel 2022 aveva licenziato i dipendenti che si occupavano della moderazione dei contenuti [Fortune].

Screenshot tratto da Kevin Beaumont su Mastodon.

I fan della cantante sono stati molto più rapidi degli addetti ai lavori, segnalando in massa gli account che diffondevano le immagini false e inondando Twitter di immagini e video reali dell’artista nel tentativo di diluire le immagini abusive in un mare di foto reali.

Twitter, però, non è l’unica azienda informatica colta a dormire al volante: ci sono forti indicazioni che le immagini pornografiche sintetiche che raffigurerebbero Swift siano state generate usando il software Designer di Microsoft, i cui responsabili in effetti non hanno messo salvaguardie sufficienti a impedire agli utenti malintenzionati di generare questo tipo di immagini abusive raffiguranti persone reali. Per fare un esempio di quanto fossero scarse e superficiali queste protezioni, erano scavalcabili semplicemente mettendo la parola singer (cantante) fra le parole Taylor e Swift e descrivendo le pose e gli atti usando dei giri di parole. Microsoft, tuttavia, dice che adesso ha preso provvedimenti “adeguati”.

C’è di mezzo anche Telegram in questa storia: lì, secondo le indagini di 404 Media, risiede indisturbato un gruppo di utenti dedicato alla creazione di immagini esplicite false e non consensuali di donne, soprattutto celebrità, ma non solo. Le immagini di questo tipo vengono infatti create o commissionate anche nei confronti di donne non celebri, per esempio da parte dei loro ex partner o di altri uomini che decidono di aggredirle e molestarle in questo modo. Il caso di Taylor Swift è solo uno di quelli che fa più clamore, per via della enorme notorietà della cantante, ma da anni le donne vengono aggredite con questa tecnologia.

Conviene chiarire, a questo punto, che non si tratta di immagini create tramite fotomontaggio digitale, nelle quali si prende una foto del volto della vittima e lo si appiccica sul corpo di un’altra donna ritratta mentre compie atti espliciti. Questi fotomontaggi sarebbero facilmente riconoscibili come falsi anche da un occhio non particolarmente attento. Le immagini coinvolte in questa vicenda, invece, sono generate tramite software di intelligenza artificiale e sono estremamente realistiche, praticamente indistinguibili da quelle reali, con volti perfettamente integrati con i corpi, tanto da ingannare gran parte delle persone e stimolare gli istinti di molte altre. Questo loro grande realismo rende anche molto più difficile, per la vittima, dimostrare che sono false.

C’è anche un altro chiarimento importante da fare: molti articoli che descrivono questo attacco a Taylor Swift descrivono le immagini false usando il termine deepfake, ma non è corretto. Un deepfake è una immagine o un video nel quale l’intelligenza artificiale viene addestrata usando immagini del volto della vittima e poi viene usata per applicare quel volto al corpo reale di qualcun altro, in maniera molto realistica e soprattutto automatica. Qui, invece, le immagini abusive sono state completamente generate, da zero, creando sia il volto sia il corpo usando applicazioni come appunto Microsoft Designer o Bing, che si comandano dando una descrizione verbale della foto sintetica desiderata, il cosiddetto prompt.

Troppo facile

I generatori di immagini basati sull’intelligenza artificiale, comandabili dando semplicemente una descrizione di cosa si vuole ottenere, sono ormai dappertutto; ne ho presentati parecchi nelle puntate precedenti di questo podcast. Le grandi società del software fanno a gara a chi offre quello migliore, quello più realistico, quello più facile, e offrono questi prodotti gratuitamente, perché hanno visto che generano moltissime visite ai loro siti, e le visite significano guadagni, diretti o indiretti.

Questa facilità d’uso, insieme alla disponibilità di massa e gratuita, ha reso questa tecnologia accessibile a un numero enorme di persone, comprese ovviamente quelle malintenzionate. Oggi non serve più saper usare Photoshop o avere un computer potente e sapervi installare Stable Diffusion modificandolo per generare immagini esplicite: basta visitare con uno smartphone qualsiasi un sito apposito e scrivere qualche parola ben scelta. E infatti la creazione di immagini alterate è aumentata del 550% rispetto al 2019, secondo una ricerca recente [BBC; si tratta di immagini di donne nel 96% dei casi, secondo DeepTrace (2019)].

In questa corsa al guadagno i rischi di abuso sono stati messi però in secondo piano, nonostante gli avvertimenti degli esperti. Molte grandi società del settore informatico si sono parate le spalle dal punto di vista legale pubblicando dei codici di condotta che vietano espressamente la creazione di contenuti intimi non consensuali. Lo hanno fatto anche Microsoft e Twitter, ma mettere un codice di condotta a protezione di un software capace di generare gratuitamente qualunque immagine di qualunque cosa o persona è come lasciare un orologio d’oro davanti alla porta di casa e “proteggerlo” con un cartello che dice “Vietato rubare”. Altre società, invece, prosperano proprio grazie al traffico di utenti, spesso paganti, che le adoperano per generare immagini estremamente esplicite e violente di qualunque genere, e al diavolo le conseguenze.

Secondo gli esperti di alcune forze di polizia [New York Times], questi software di intelligenza artificiale vengono usati anche per generare migliaia di immagini di abusi su minori [CSAM, child sex abuse materials], e questo uso, al di là di tutte le questioni morali, rende possibile sommergere le immagini reali di abusi in un oceano di foto sintetiche, rendendo più difficile indagare sugli abusi effettivi perché gli inquirenti devono perdere tempo per capire se ogni singola foto raffigura un minore esistente o un minore sintetico: una differenza importante, non solo per il minore da proteggere, ma anche perché in molti paesi l’immagine sintetica non è perseguibile, visto che cade in una zona grigia non ancora coperta dai legislatori.

Il problema, insomma, è vasto. Servono delle soluzioni, e servirebbero anche in fretta.

Filtri intasati, moderatori assenti

La soluzione più ovvia sembrerebbe essere quella di usare l’intelligenza artificiale, così abile e instancabile nel riconoscimento delle immagini, per rilevare automaticamente le fotografie di abusi di qualunque genere condivise sui social network e rimuoverle ancora prima che possano circolare.

Il guaio di questa soluzione è che viene già usata, ma l’intelligenza artificiale non riesce a riconoscere affidabilmente le immagini di questo genere, sintetiche o meno, come ha dichiarato pochi giorni fa Linda Yaccarino, attuale CEO di Twitter [Ars Technica]. Nel caso di Twitter, poi, c’è l’ulteriore complicazione che questo social network, a differenza di quasi tutti gli altri, consente la pubblicazione di immagini consensuali estremamente esplicite, accessibili a chiunque semplicemente cambiando un’impostazione nell’app, e questo rende ancora più difficile distinguere i vari tipi di immagini o filtrarle preventivamente, come fanno invece altri social network. Probabilmente non è un caso che le immagini pornografiche false di Taylor Swift siano circolate proprio su Twitter.

Programmare meglio i generatori di immagini disponibili online, in modo che si rifiutino di creare contenuti espliciti riguardanti persone reali, è tecnicamente molto difficile, perché questi generatori si basano su parole chiave, e per quanto si cerchi di includere nelle parole chiave vietate tutti i casi possibili e immaginabili, c’è sempre qualche variante che sfugge, magari perché è scritta sbagliando appositamente una lettera oppure usando una lingua alla quale gli sviluppatori del software non hanno pensato ma che è stata inclusa nella montagna di testi letti dall’intelligenza artificiale per addestrarla.

Un’altra soluzione sarebbe avere nei social network un servizio di moderazione più efficiente e potenziato, perché molti utenti si sono accorti che le loro segnalazioni di contenuti chiaramente inaccettabili cadono nel vuoto e restano inascoltate. Ma i social network prendono in generale molto sottogamba la questione della moderazione.

Lo dimostra, ironicamente, l’annuncio di Elon Musk di voler assumere cento nuovi moderatori di contenuti a tempo pieno, soprattutto per affrontare le immagini di abusi su minori. Come se cento moderatori in più rispetto ai duemila già esistenti potessero bastare, o fare qualche grande differenza, per un social network che ha 330 milioni di utenti attivi [1 moderatore ogni 157.000 utenti; Statista].

Anche molti altri social network hanno un numero di moderatori altrettanto esiguo: Meta e TikTok dichiarano di avere ciascuno 40.000 di questi moderatori, che devono gestire rispettivamente 3,6 miliardi di utenti nel caso di Meta [1 ogni 90.000 utenti] e 1,5 miliardi di utenti nel caso di TikTok [1 ogni 37.500 utenti]; Snap dice di averne 2300 per 750 milioni di utenti [1 ogni 326.000 utenti]; e Discord dichiara vagamente di averne “centinaia” per circa 150 milioni di utenti [1 moderatore ogni 300.000 utenti, se si ipotizza generosamente che i moderatori siano 500].

È chiaro che con questi numeri la moderazione non può essere efficace e che serve probabilmente l’intervento del legislatore a convincere i social network che la moderazione va fatta come si deve, invece di essere vista come un costo fastidioso da ridurre il più possibile. E infatti proprio in questi giorni i social network sono in audizione al Senato degli Stati Uniti, con i loro CEO sotto torchio per i danni causati ai minori dai loro servizi privi di adeguata moderazione, e fioccano le proposte di leggi che rendano punibile la creazione e la diffusione di immagini intime sintetiche non consensuali.

C’è però anche un altro fattore in tutta questa vicenda, e non si tratta di una questione tecnica o legislativa, di un gadget che si possa installare o di una legge che possa stroncare il problema. Si tratta del fattore culturale. È infatti ancora molto diffusa e persistente l’idea che creare e disseminare immagini sintetiche esplicite di qualcuno senza il s uo consenso tutto sommato non sia un danno o che magari rientri nel “diritto alla satira”,* perché sono appunto immagini finte, rappresentazioni di fantasia.

* Riferimento a un recente episodio avvenuto in Svizzera, in cui un consigliere nazionale dell’UDC, Andreas Glarner, ha creato con l’IA e diffuso online un video che non era esplicito ma in cui faceva dire alla deputata dei Verdi Sibel Arslan degli slogan a favore dell’UDC. Il video è stato rimosso su ordine del tribunale e tutti i partiti hanno condannato il comportamento di Glarner. L’UDC, invece, ha difeso quello che definisce “diritto alla satira” [RSI].

Ma il danno causato dalla circolazione di quelle immagini è reale. Lo sa bene qualunque ragazza o donna che sia stata bersaglio di queste immagini, create magari dai compagni di scuola o dai colleghi di lavoro, quelli con i quali ci si trova a dover poi condividere un banco o un ufficio. Se vi resta qualche dubbio in proposito, consiglio di vedere e ascoltare la testimonianza di una di queste vittime, raccolta nel documentario Another Body, di Sophie Compton e Reuben Hamlyn, uscito nel 2023 e presentato anche al Film Festival Diritti Umani di Lugano a ottobre scorso. Non sarà una visione facile.

La situazione, comunque, non è senza speranza. Come capita spesso, paradossalmente, serve qualche episodio particolare per far finalmente prendere delle decisioni a chi le deve prendere. E forse, ora che tutto questo è successo a Taylor Swift, finalmente qualcuno farà qualcosa di concreto.

[CLIP: Risatina liberatoria di Taylor Swift da Shake It Off]

Scritto da Paolo Attivissimo per il blog Il Disinformatico. Ripubblicabile liberamente se viene inclusa questa dicitura (dettagli). Sono ben accette le donazioni Paypal.