ANTEPRIMA Podcast RSI - Taylor Swift attaccata online con foto falsificate usando l’IA

ALLERTA SPOILER: Questo è il testo di accompagnamento al podcast Il Disinformatico della Radiotelevisione Svizzera che uscirà domani (venerdì) presso www.rsi.ch/ildisinformatico.

Le puntate del Disinformatico sono ascoltabili anche tramite iTunes, Google Podcasts, Spotify e feed RSS.

---

[CLIP: traccia vocale di Shake It Off di Taylor Swift]

Pochi giorni fa qualcuno hapubblicato su Twitter delle immagini molto esplicite di Taylor Swift,generate con un software di intelligenza artificiale, e gli addettidi Twitter non sono stati in grado di impedire che queste immaginivenissero condivise milioni di volte. Isuoi fan sono accorsi in sua difesa, pubblicando in massa immaginivere della cantante in modo da sommergere quelle false. Ma cosasuccede a chi non ha un esercito mondiale di fan ed è vittima di unattacco di questo genere?

SonoPaolo Attivissimo, eoggi provo a fare il punto della situazione delle molestie inflittetramite immagini sintetiche, sempre più diffuse e facili darealizzare, e a vedere se ci sono soluzioni praticabili a questoproblema.

Benvenutiallapuntata del 2febbraio 2024 delDisinformatico, ilpodcast della Radiotelevisione Svizzera dedicato alle notiziee alle storie stranedell’informatica.

[SIGLA di apertura]

Impreparazione e incoscienza delle grandi aziende informatiche

Il 25 gennaio scorso su X, il social network un tempo chiamatoTwitter che molti continuano a chiamare Twitter, sono apparseimmagini pornografiche false della popolarissima cantante TaylorSwift, generate tramite software di intelligenza artificiale diMicrosoft [la RSI nota che la diffusione delle immagini ha coinciso con l’avvio di una campagna di odio e complottismo contro Swift da parte dell’estrema destra statunitense e dei sostenitori di Donald Trump].

Una di queste immagini è stata vista 47 milioni di volte ericondivisa circa 24.000 volte, ricevendo centinaia di migliaia dilike, prima che qualcuno dei responsabili del social networkdi Elon Musk si svegliasse e intervenisse ben 17 ore dopo, chiudendol’account che l’aveva pubblicata [NewYork Times; TheVerge].

Ma le immagini hanno continuato a circolare su Twitter, ridiffuseda altri account e su altri social network, finché Twitter ha decisodi bloccare completamente la possibilità di cercare il nome diTaylor Swift [BBC];una soluzione rozza e drastica che rivela l’impreparazione delsocial network di Elon Musk a gestire una crisi ampiamenteprevedibile, soprattutto dopo che Musk nel 2022 aveva licenziato idipendenti che si occupavano della moderazione dei contenuti[Fortune].

Screenshot tratto da Kevin Beaumont su Mastodon.

I fan della cantante sono stati molto più rapidi degli addetti ailavori, segnalando in massa gli account che diffondevano le immaginifalse e inondando Twitter di immagini e video reali dell’artistanel tentativo di diluire le immagini abusive in un mare di fotoreali.

Twitter, però, non è l’unica azienda informatica colta adormire al volante: ci sono forti indicazioni che le immaginipornografiche sintetiche che raffigurerebbero Swift siano stategenerate usando il software Designer di Microsoft, i cui responsabiliin effetti non hanno messo salvaguardie sufficienti a impedire agliutenti malintenzionati di generare questo tipo di immagini abusiveraffiguranti persone reali. Per fare un esempio di quanto fosseroscarse e superficiali queste protezioni, erano scavalcabilisemplicemente mettendo la parola singer(cantante) fra le parole Taylore Swift e descrivendole pose e gli atti usando dei giri di parole. Microsoft, tuttavia,diceche adesso hapreso provvedimenti “adeguati”.

C’è dimezzo anche Telegram inquesta storia: lì, secondole indagini di 404Media, risiedeindisturbatoun gruppo di utenti dedicatoalla creazione di immagini esplicite false e non consensuali didonne, soprattutto celebrità, ma non solo. Le immagini di questotipo vengono infatti create o commissionate anchenei confronti di donne noncelebri, peresempio da parte dei loro expartner o dialtri uomini che decidono diaggredirle e molestarle in questo modo. Il caso di Taylor Swift èsolo uno di quelli che fa più clamore, per via della enormenotorietà della cantante, ma da anni le donne vengono aggredite conquesta tecnologia.

Conviene chiarire, a questopunto, che non si tratta di immagini create tramite fotomontaggiodigitale, nelle quali si prende una foto del volto della vittima e losi appiccica sul corpo di un’altra donna ritratta mentre compieatti espliciti. Questi fotomontaggi sarebberofacilmente riconoscibili come falsi ancheda un occhio non particolarmente attento.Le immagini coinvolte inquesta vicenda, invece, sono generate tramite software diintelligenza artificiale e sono estremamente realistiche,praticamente indistinguibilida quelle reali, con voltiperfettamente integrati con i corpi, tanto da ingannare gran partedelle persone e stimolare gli istinti di molte altre. Questo lorogrande realismorende anche molto più difficile, per la vittima, dimostrare che sonofalse.

C’è anche un altro chiarimentoimportante da fare: molti articoli che descrivono questo attacco aTaylor Swift descrivono leimmagini false usando il terminedeepfake, manon è corretto. Un deepfakeè una immagine o un video nel quale l’intelligenza artificialeviene addestrata usando immagini del volto della vittima e poi vieneusata per applicare quel volto al corpo realedi qualcun altro, in manieramolto realistica e soprattuttoautomatica. Qui, invece, leimmagini abusive sono state completamente generate, da zero, creandosia il voltosia ilcorpo usando applicazionicome appunto Microsoft Designer oBing, che si comandano dandouna descrizione verbale della foto sintetica desiderata, ilcosiddetto prompt.

Troppo facile

I generatori di immagini basati sull’intelligenza artificiale,comandabili dando semplicemente una descrizione di cosa si vuoleottenere, sono ormai dappertutto; ne ho presentati parecchi nellepuntate precedenti di questo podcast. Le grandi società del softwarefanno a gara a chi offre quello migliore, quello più realistico,quello più facile, e offrono questi prodotti gratuitamente, perchéhanno visto che generano moltissime visite ai loro siti, e le visitesignificano guadagni, diretti o indiretti.

Questa facilità d’uso, insieme alla disponibilità di massa egratuita, ha reso questa tecnologia accessibile a un numero enorme dipersone, comprese ovviamente quelle malintenzionate. Oggi non servepiù saper usare Photoshop o avere un computer potente e saperviinstallare Stable Diffusion modificandolo per generare immaginiesplicite: basta visitare con uno smartphone qualsiasi un sitoapposito e scrivere qualche parola ben scelta. E infatti la creazionedi immagini alterate è aumentata del 550% rispetto al 2019, secondouna ricercarecente [BBC; si tratta di immagini di donne nel 96% dei casi, secondo DeepTrace(2019)].

In questa corsa al guadagno i rischi di abuso sono stati messiperò in secondo piano, nonostante gli avvertimenti degli esperti.Molte grandi società del settore informatico si sono parate lespalle dal punto di vista legale pubblicando dei codici di condottache vietano espressamente la creazione di contenuti intimi nonconsensuali. Lo hanno fatto anche Microsofte Twitter,ma mettere un codice di condotta a protezione di un software capacedi generare gratuitamente qualunque immagine di qualunque cosa opersona è come lasciare un orologio d’oro davanti alla porta dicasa e “proteggerlo” con un cartello che dice “Vietatorubare”. Altre società, invece, prosperano proprio grazie altraffico di utenti, spesso paganti, che le adoperano per generareimmagini estremamente esplicite e violente di qualunque genere, e aldiavolo le conseguenze.

Secondo gli esperti di alcune forze di polizia [NewYork Times], questi software di intelligenza artificiale vengonousati anche per generare migliaia di immagini di abusi su minori[CSAM, child sex abuse materials],e questo uso, al di là di tutte le questioni morali, rende possibilesommergere le immagini reali di abusi in un oceano di fotosintetiche, rendendo più difficile indagare sugli abusi effettiviperché gli inquirenti devono perdere tempo per capire se ognisingola foto raffigura un minore esistente o un minore sintetico: unadifferenza importante, non solo per il minore da proteggere, ma ancheperché in molti paesi l’immagine sintetica non è perseguibile,visto che cade in una zona grigia non ancora coperta dai legislatori.

Il problema, insomma, è vasto. Servono delle soluzioni, eservirebbero anche in fretta.

Filtri intasati, moderatori assenti

La soluzione più ovvia sembrerebbe essere quella di usarel’intelligenza artificiale, così abile e instancabile nelriconoscimento delle immagini, per rilevare automaticamente lefotografie di abusi di qualunque genere condivise sui social networke rimuoverle ancora prima che possano circolare.

Il guaio di questa soluzione è che viene già usata, mal’intelligenza artificiale non riesce a riconoscere affidabilmentele immagini di questo genere, sintetiche o meno, come ha dichiaratopochi giorni fa Linda Yaccarino, attuale CEO di Twitter [ArsTechnica]. Nel caso di Twitter, poi, c’è l’ulteriorecomplicazione che questo social network, a differenza di quasi tuttigli altri, consente la pubblicazione di immagini consensualiestremamente esplicite, accessibili a chiunque semplicementecambiandoun’impostazione nell’app, e questo rende ancora piùdifficile distinguere i vari tipi di immagini o filtrarlepreventivamente, come fanno invece altri social network.Probabilmente non è un caso che le immagini pornografiche false diTaylor Swift siano circolate proprio su Twitter.

Programmare meglio i generatori di immagini disponibili online, inmodo che si rifiutino di creare contenuti espliciti riguardantipersone reali, è tecnicamente molto difficile, perché questigeneratori si basano su parole chiave, e per quanto si cerchi diincludere nelle parole chiave vietate tutti i casi possibili eimmaginabili, c’è sempre qualche variante che sfugge, magariperché è scritta sbagliando appositamente una lettera oppure usandouna lingua alla quale gli sviluppatori del software non hanno pensatoma che è stata inclusa nella montagna di testi lettidall’intelligenza artificiale per addestrarla.

Un’altra soluzione sarebbe avere nei social network un serviziodi moderazione più efficiente e potenziato, perché molti utenti sisono accorti che le loro segnalazioni di contenuti chiaramenteinaccettabili cadono nel vuoto e restano inascoltate. Ma i socialnetwork prendono molto sottogamba la questione della moderazione.

Lo dimostra, ironicamente, l’annunciodi Elon Musk di voler assumere cento nuovi moderatori di contenuti atempo pieno, soprattutto per affrontare le immagini di abusi suminori. Come se cento moderatori in più rispetto ai duemilagià esistenti potessero bastare, o fare qualche grande differenza,per un social network che ha 330 milioni di utenti attivi [1moderatore ogni 157.000 utenti; Statista].

Anche molti altri social network hanno un numero di moderatorialtrettanto esiguo: Meta e TikTok dichiaranodi avere ciascuno 40.000 di questi moderatori, che devono gestirerispettivamente 3,6miliardi di utenti nel caso di Meta [1 ogni 90.000utenti] e 1,5miliardi di utenti nel caso di TikTok [1 ogni 37.500utenti]; Snap dice di averne 2300 per 750 milioni di utenti [1 ogni 326.000 utenti]; e Discord dichiaravagamente di averne “centinaia” percirca150milioni di utenti [1moderatore ogni 300.000 utenti, se si ipotizza generosamente che imoderatori siano 500].

È chiaro che con questi numeri la moderazione non può essereefficace e che serve probabilmente l’intervento del legislatore aconvincere i social network che la moderazione va fatta come si deve,invece di essere vista come un costo fastidioso da ridurre il piùpossibile. E infatti proprio in questi giorni i social network sonoin audizioneal Senato degli Stati Uniti, con i loro CEO sotto torchio per i dannicausati ai minori dai loro servizi privi di adeguata moderazione, efioccano le proposte di leggi che rendano punibile la creazione e ladiffusione di immagini intime sintetiche non consensuali.

C’è però anche un altro fattore in tutta questa vicenda, e nonsi tratta di una questione tecnica o legislativa, di un gadget che sipossa installare o di una legge che possa stroncare il problema. Sitratta del fattore culturale. È infatti ancora molto diffusa epersistente l’idea che creare e disseminare immagini sinteticheesplicite di qualcuno senza il suo consenso tutto sommato non sia undanno o che magari rientri nel dirittoalla satira, perché sono appunto immagini finte,rappresentazioni di fantasia.

Ma il danno causato dalla circolazione di quelle immagini èreale. Lo sa bene qualunque ragazza o donna che sia stata bersagliodi queste immagini, create magari dai compagni di scuola o daicolleghi di lavoro, quelli con i quali ci si trova a dover poicondividere un banco o un ufficio. Se vi resta qualche dubbio inproposito, consiglio di vedere e ascoltare la testimonianza di una diqueste vittime, raccolta nel documentario AnotherBody, diSophie Compton e Reuben Hamlyn, uscito nel 2023 e presentato anche alFilm Festival Diritti Umani di Lugano a ottobre scorso. Non sarà unavisione facile.

Lasituazione, comunque, non è senza speranza. Come capita spesso,paradossalmente, serve qualche episodio particolare per farfinalmente prendere delle decisioni a chi le deve prendere. E forse,ora che tutto questo è successo a Taylor Swift, finalmente qualcunofarà qualcosa di concreto.

[CLIP: Risatina liberatoria di Taylor Swift da Shake It Off]

Scritto da Paolo Attivissimo per il blog Il Disinformatico. Ripubblicabile liberamente se viene inclusa questa dicitura (dettagli). Sono ben accette le donazioni Paypal.