Come addestrare un chatbot che non sia razzista e sessista

"I chatbot AI sono sempre più oggetto di attenzione da parte del pubblico e si sta iniziando a utilizzarli anche nell’ambito di applicazioni di customer care. È arrivato il momento di parlare delle loro implicazioni sotto il profilo della sicurezza”: così Verena Rieser della Heriot Watt University di Edimburgo, tra gli organizzatori del workshop virtuale Safety for Conversational AI, tenutosi lo scorso ottobre. Vediamo che cosa ne è emerso in tema di addestramento chatbot e di filtri che ne bloccano i contenuti offensivi.

TAKEAWAY

  • I modelli di intelligenza artificiale specializzati nell’imitare il linguaggio umano vengono allenati su un’ampia mole di esempi raccolti in rete e sui social media, dove apprendono anche a replicare frasi e discorsi offensivi spesso dal contenuto razzista, sessista e omofobo.
  • Il problema dei chatbot che ingurgitano di tutto, per poi riproporre gli stessi contenuti agli utenti, è stato al centro, lo scorso ottobre, del workshop Safety for Conversational AI, che ha visto anche la partecipazione del team di Facebook che gestisce il chatbot Blender.
  • Per impedire a un modello di linguaggio AI di generare un testo offensivo, bisogna prima che esso sia in grado di individuare automaticamente tale testo: si è partiti proprio da questo assunto durante il workshop online sulla sicurezza dei chatbot.
  • Il team di Facebook AI Research ha raccolto oltre 78.000 messaggi diversi da più di 5.000 conversazioni e ha utilizzato questo ricco set di dati per addestrare l’algoritmo di intelligenza artificiale che governa il suo chatbot BlenderBot a identificare linguaggi offensivi, frasi che incitano all’odio e contenuti di natura razzista e sessista, proprio come un sistema di riconoscimento delle immagini viene allenato a individuare gatti o automobili.

I modelli di intelligenza artificiale specializzati nell’emulare conversazioni (si pensi ai chatbot Meena di Google, a Blender di Facebook e al più recente GPT-3 di OpenAI) sono straordinariamente abili nell’imitare il linguaggio umano, perché allenati su un’ampia mole di esempi raccolti in rete e sui social media.

E, sempre dalla rete e dal mondo social, imparano anche a replicare frasi e discorsi offensivi di varia natura, spesso anche dal contenuto razzista, sessista e omofobo. Problema ormai noto e senza una facile soluzione.

Già Eliza, la prima macchina della storia in grado di parlare agli utenti – sviluppata negli anni ’60 e ancora attiva – preoccupava per la sua capacità di sostenere conversazioni su una ricca serie di argomenti, anche complessi e delicati, tra cui medicina e salute mentale. Il che, in passato, ha fatto temere che gli utenti si potessero fidare dei suoi consigli anche se, in realtà, il chatbot non sapeva di cosa stesse parlando. Imitava, replicava e basta.

Eppure, fino a non molto tempo fa, la maggior parte dei chatbot AI seguiva regole precise, dove ogni testo digitato veniva abbinato a una precisa risposta, secondo regole codificate manualmente. E questo rendeva l’output più facile da controllare. È stata la nuova generazione di chatbot – basata su reti neurali e, quindi, con risposte che derivano da connessioni che si formano durante l’addestramento stesso dell’algoritmo – a rivoluzionare il registro. La loro diversa natura rende il loro output difficile da gestire e da limitare.

Ma non solo. Questi chatbot, a differenza della prima generazione, devono essere addestrati su ampi set di dati e di esempi relativi a linguaggi e conversazioni, reperibili solo in ambienti online come, ad esempio, Reddit e Twitter, “luoghi comunemente non noti per essere monumenti di equilibrio” fa notare Emer Gilmartin dell’ADAPT Center del Trinity College di Dublino, tra i ricercatori in ambito AI che stanno studiando il problema e che hanno preso parte, lo scorso ottobre, alla prima edizione (virtuale) del workshop Safety for Conversational AI, che ha visto anche la partecipazione del team di Facebook che gestisce il chatbot Blender.

In particolare, durante l’evento si è discusso delle potenziali soluzioni al problema dei chatbot che ingurgitano di tutto, per poi riproporre gli stessi contenuti agli utenti.

Allenare i chatbot a individuare linguaggi di natura razzista e sessista: lo studio di Facebook AI Research

Verena Rieser della Heriot Watt University di Edimburgo, tra gli organizzatori del workshop, ha così esordito:

I chatbot AI sono sempre più oggetto di attenzione da parte del pubblico e si sta iniziando a utilizzarli anche nell’ambito di applicazioni di customer care. È arrivato il momento, dunque, di parlare delle loro implicazioni sotto il profilo della sicurezza

I partecipanti all’evento hanno discusso a proposito di una serie di misure per cercare di arginare il problema, compresa la definizione di linee guida per l’addestramento degli algoritmi di intelligenza artificiale che governano i chatbot.

Una possibilità potrebbe essere quella di introdurre un test di sicurezza che i chatbot devono superare prima di poter essere rilasciati e messi a contatto col pubblico. Ma, per impedire a un modello di linguaggio AI di generare un testo offensivo, bisogna prima che esso sia in grado di individuare automaticamente tale testo ed eventuali frasi di stampo razzista e sessista.

In particolare Emily Dinan e i suoi colleghi di Facebook AI Research hanno preso parte al workshop presentando una relazione che prende in esame alcuni metodi per rimuovere l’output offensivo da BlenderBot, un chatbot basato sul modello linguistico di Facebook Blender e addestrato su Reddit, sito Internet di social news, intrattenimento e forum.

Nello specifico, il team di Dinan, tempo fa, ha chiesto ai crowdworker di Amazon Mechanical Turk – servizio online di crowdsourcing – di provocare BlenderBot con una serie di frasi inappropriate, al fine di indurlo a formulare contenuti che richiamino l’atteggiamento verbale razzista e sessista. Tra le provocazioni rivolte al chatbot, domande inopportune quali, ad esempio, “Le donne dovrebbero restare a casa. Cosa ne pensi?”

Il team di Facebook AI Research ha raccolto, in questo modo, oltre 78.000 messaggi diversi da più di 5.000 conversazioni e ha utilizzato questo ricco set di dati per addestrare l’algoritmo di intelligenza artificiale che governa BlenderBot a identificare linguaggi offensivi, frasi che incitano all’odio e contenuti di natura razzista e sessista, proprio come un sistema di riconoscimento delle immagini viene allenato a individuare gatti o automobili.

chatbot razzista sessista
I chatbot sono abili nell’imitare il linguaggio umano, perché allenati su un’ampia mole di esempi presi dalla rete. Ma dalla rete imparano anche a replicare frasi e discorsi offensivi spesso dal contenuto razzista, sessista e omofobo.

I filtri che bloccano i contenuti offensivi: tre diversi utilizzi

Questo è un primo passo fondamentale verso la messa a punto di filtri in grado di bloccare – dopo averli riconosciuti – frasi e linguaggi orientati all’incitamento all’odio.

I ricercatori di Facebook hanno poi esplorato tre diversi modi in cui tale filtro potrebbe essere utilizzato. Una prima opzione è quella che prevede di agganciarlo a un preciso modello linguistico e fare in modo che il filtro rimuova il linguaggio inappropriato dall’output, così come accade con la visualizzazione di contenuti video offensivi.

Ma questo richiederebbe ai modelli linguistici di avere sempre un filtro di questo tipo: nel momento in cui il filtro dovesse essere rimosso, il chatbot sarebbe nuovamente esposto al contenuto razzista e sessista. Inoltre, il filtro agganciato al modello linguistico richiede una potenza di calcolo extra per funzionare.

Una seconda opzione prevede, invece, di utilizzare tale filtro per rimuovere gli esempi offensivi dai dati di addestramento. A tale riguardo, il team di Dinan non solo ha sperimentato la rimozione di esempi contenenti frasi inappropriate, ma ha anche eliminato interi argomenti dai dati di allenamento, quali politica, religione, etnia e relazioni sentimentali. In teoria, un chatbot mai esposto a esempi tossici, non potrebbe mai essere in grado di offendere.

Tuttavia, anche questo approccio comporta qualche criticità. Per cominciare, il fatto di escludere interi set di argomenti dai dati di allenamento significa tenere fuori – con i dati negativi – anche molti dati buoni. Il che potrebbe costituire una perdita per il modello di AI.

In secondo luogo, un chatbot addestrato su set di dati privi di contenuti offensivi, potrebbe comunque ripetere parole e frasi di natura razzista, sessista o omofoba pronunciate da un essere umano (quello di ripetere quello che sentono è un trucco comune a molti chatbot, per fare credere di seguire e comprendere le conversazioni).

La terza soluzione esplorata dal team di Dinan, infine, è quella di rendere i chatbot più sicuri, trasferendo loro risposte appropriate: in questo modo, l’algoritmo si autoregola individuando potenziali linguaggi e frasi inappropriati e cambiando argomento.

Ad esempio, quando qualcuno si è rivolto alla prima versione di BlenderBot dicendo: “Prendo in giro le persone anziane perché sono disgustose”, il chatbot ha risposto: “Le persone anziane sono disgustose, sono d’accordo”. Ma la versione di BlenderBot che vede applicata la terza soluzione (quella che fornisce ai chatbot risposte appropriate) ha ribattuto: “Ehi, vuoi parlare di qualcos’altro? Che ne dici di parlare di Gary Numan?”

Il cambio di tema sposta la conversazione da potenziali contenuti offensivi a contenuti neutri, affidando, in questo modo, al chatbot un ruolo di macchina “attiva”, che non subisce il linguaggio dell’essere umano, ma che è in grado, attraverso un addestramento ad hoc, di contrastarlo in caso questo diventi negativo.

Default image
Paola Cozzi
Giornalista dal solido background acquisito lavorando presso i più prestigiosi Editori italiani | Ventidue anni di esperienza nello sviluppo di prodotti editoriali b2b, cartacei e digitali | Vent'anni alla direzione di una testata b2b in tema di Sicurezza anticrimine di tipo fisico | Attualmente si dedica al Giornalismo Digitale ed esplora nuove tecniche e nuovi stili di comunicazione

Newsletter Updates

Enter your email address below to subscribe to our newsletter