Perché insegnare l’inclusività alle macchine

L’intelligenza artificiale fa ormai parte delle nostre vite quotidiane, anche se spesso neanche ce ne accorgiamo. Allo stesso modo, non ne conosciamo i lati oscuri, che in buona parte sono diversi da quelli che ci immagineremmo pensando a un film di fantascienza.

Ad esempio, spesso le macchine sono istruite sulla base di dati difettosi (intrisi di preconcetti legati a genere, etnia, età, etc), e per questa ragione restituiscono informazioni condizionate da questi “difetti” (che vengono comunemente chiamati bias, una parola inglese che vi spieghiamo meglio tra poco). E introdurre nella nostra cultura – già plasmata da pregiudizi e stereotipi – informazioni “sporche” può essere molto dannoso.

Crediamo che sia importante parlare di questo tema anche in termini non tecnici, perché l’utilizzo di applicazioni AI riguarda la società nel suo complesso.

Parallelamente, decostruire alcuni difetti “umani” che si riversano in queste applicazioni è una questione strettamente culturale, che interessa le persone ancor prima che gli algoritmi.

In questo senso, gli studi nel campo dell’intelligenza artificiale possono rappresentare una cartina tornasole di molti pregiudizi culturali di cui facciamo fatica ad accorgerci nella vita di tutti i giorni.

Cos’è l’intelligenza artificiale

Una persona sorridente tiene in mano un cellulare vicino alla bocca, utilizzando un comando vocale

Con intelligenza artificiale (AI) si intende la capacità di alcune macchine (da computer più semplici a robot più complessi) di compiere operazioni comunemente affidate agli esseri umani. È un termine tendenzialmente usato per definire la progettazione e lo sviluppo di sistemi che riescono ad implementare i processi intellettuali caratteristici degli esseri umani, come ad esempio il ragionamento, la generalizzazione, la creatività, la pianificazione, o anche la capacità di imparare da esperienze passate.

Può sembrare un mondo molto distante da chi non è del settore, ma in realtà diversi sistemi di intelligenza artificiale fanno parte delle nostre vite quotidiane. Hai mai fatto una domanda a Siri, o ad Alexa? Oppure hai swipato su Tinder? Ecco, sono tutti sistemi basati sull’AI.

I bias

Due ragazze con due portatili sulle gambe parlano tra di loro — *Foto di Ketut Subiyanto*

Il processo di costruzione dei sistemi di AI è molto complesso; per il momento ci basta sapere che le macchine imparano a fornire un output in base a dati che vengono forniti inizialmente dalle persone che le sviluppano.

Questo processo di apprendimento è alla base dei sistemi di machine learning, ovvero sistemi in cui un software è in grado di calibrare autonomamente i suoi algoritmi per eseguire un compito assegnato a priori. L’input umano consiste nel mostrare alla macchina una serie di dati già elaborati, in modo che la macchina possa applicare la stessa elaborazione a un numero infinito di casi.

Per esempio, per insegnare a un’AI a risolvere una qualsiasi equazione di primo grado, bisognerà mostrarle prima tante equazioni già risolte.

Assimilando dati pre-elaborati dagli esseri umani, le macchine assimilano anche tutte le distorsioni culturali e le rappresentazioni parziali o deformate che stanno alla base di ciò che molte persone considerano fattuale. Distorsioni che, per mancanza di una parola più adatta, chiamiamo col termine inglese bias.

Non esiste una parola perfetta per tradurre bias in italiano (che si pronuncia, in inglese, /baɪəs/, all’incirca by-us). Equivale grossolanamente ai termini preconcetto, o distorsione, o inclinazione, intendendo delle informazioni, dei costrutti, distorti rispetto alla realtà e costruiti su pregiudizi, stereotipi e ideologie.

I bias possono riguardare vari aspetti della vita, ma quelli che hanno conseguenze più negative sono associati al genere, all’età, all’etnia, all’orientamento sessuale, alla disabilità, e non solo.

Esistono diversi tipi di bias legati all’AI: al di là dei generici “data bias”, dovuti all’utilizzo di dati fattualmente errati, sono solitamente chiamati societal bias quelli dovuti a una mancanza di attenzione in alcuni set di dati, che vengono forniti con dei punti ciechi dovuti a pregiudizi umani causati da consuetudini e presupposizioni sociali.

Gli algoritmi alla base dei sistemi di AI rischiano quindi di diffondere rafforzare ancora di più pregiudizi e stereotipi già esistenti culturalmente, perpetuando e normalizzando la marginalizzazione e la stigmatizzazione di gruppi di persone già discriminate, come le donne, le persone appartenenti alla comunità LGBTQ+, le persone non bianche, disabili, etc.

Cosa implica l’apprendimento dei bias da parte di una macchina?

Considerando l’utilizzo di sistemi di AI, che è esponenzialmente in crescita, è lecito preoccuparsi delle conseguenze che i suoi bias possono avere a livello sociale.

Consideriamo ad esempio che alcuni sistemi di AI possono essere utilizzati per le fasi iniziali di selezione del personale: un sistema che viene istruito con preconcetti di genere porterebbe, ad esempio, all’assunzione di soli uomini. Così come un sistema con preconcetti o pregiudizi etnici porterebbe all’assunzione di sole persone bianche. E non si tratta solo di scenari ipotetici: lo vedremo tra poco.

Di fatto quindi se insegniamo alle macchine ad avere bias, le macchine ci restituiranno sempre bias, e ne alimenteranno la diffusione.

Cosa succede concretamente?

Considerando quanto sono radicati (e quindi spesso invisibili) i nostri preconcetti culturali, è molto facile che un sistema di AI sia in qualche misura viziato da bias. Ma non si tratta solo di una questione legata al miglioramento della qualità del software. Esistono numerosi esempi concreti di come l’apprendimento di bias da parte di programmi basati sull’intelligenza artificiale abbia conseguenze disastrose per la vita delle persone. Citiamo i più tristemente celebri, che sono però anche i più significativi.

L’algoritmo utilizzato da COMPAS (Correctional Offender Management Profiling for Alternative Sanctions – un software che determina il potenziale rischio di recidivismo nella popolazione carceraria statunitense) si basava su dati e modelli biased, così come lo era il processo di creazione dell’algoritmo stesso. A causa di ciò, il modello ha prodotto il doppio di falsi positivi su criminali nerə (45%) rispetto a criminali bianchə (23%).

Nel 2015 Amazon ha scoperto che l’algoritmo che utilizzava per assumere personale si basava su pregiudizi contro le donne, nello specifico era stato costruito sulla base del numero di curricula ricevuti nei 10 anni precedenti, e visto che la maggior parte delle persone candidate erano uomini, è stato sviluppato in modo tale da preferire gli uomini alle donne.

Nel 2019, è stato scoperto che un algoritmo usato su più di 200 milioni di persone negli Stati Uniti era “difettoso” (ovvero, conteneva bias). Era utilizzato per prevedere quali pazienti ricoveratə negli ospedali statunitensi avrebbero avuto bisogno di cure aggiuntive, e aveva ampiamente favorito le persone bianche rispetto alle persone nere.

L’etnia non era una variabile utilizzata per costruire l’algoritmo, lo era però il costo di cure mediche per persona, che avrebbe dovuto indicare di quante cure una singola persona avrebbe avuto bisogno. Per diverse ragioni le persone nere storicamente hanno avuto un costo più basso rispetto a persone bianche con le stesse condizioni. Per questo, le persone bianche erano favorite.

Sempre nel 2019, Facebook permetteva a chi pubblicava inserzioni sui suoi canali di segmentare il target in base a genere, etnia e religione. Per questo alle donne venivano mostrati annunci di lavoro come infermiera o segreteria, mentre ruoli come inserviente o tassista venivano mostrati agli uomini, in particolare uomini appartenenti a minoranze etniche.

E ancora, nel 2020, in Australia è stato annunciato il lancio di un social network dal nome Giggle. Lo scopo era creare gruppi di chat di sole donne, perseguito costruendo un sistema di verifica del genere delle persone iscritte, basato sul riconoscimento facciale. È chiaro come quindi il sistema non fosse veramente formato sul riconoscimento del genere delle persone, ma sul sesso biologico, e di conseguenza come fosse potenzialmente escludente delle donne trans*.

I bias condizionano anche il linguaggio verbale

Una donna nera con divisa ospedaliera e mascherina — Foto di Laura James

Alcuni bias culturali possono riflettersi anche nel modo in cui un sistema di machine learning impara a utilizzare il linguaggio. Ad esempio, una frase come “he is a doctor” (lui è un dottore) ha molta più probabilità di venire restituita da un macchina rispetto a “she is a doctor” (lei è una dottoressa), perché gli esempi usati per addestrare la macchina sono esempi di medici maschi.

O ancora, fino a poco tempo fa, tradurre “he is a nurse, she is a doctor” (lui è un infermiere, lei è una dottoressa) in ungherese e poi di nuovo in inglese risultava in “she is a nurse, he is a doctor” (lui è un dottore, lei è un’infermiera).

Insomma, ne parliamo spesso, il linguaggio riflette la cultura in cui viviamo, ma la condiziona anche, come un circolo vizioso o virtuoso (si spera, in futuro). Per questo è importante mettere in circolo parole, espressioni, pulite da ogni stereotipo, perché anch’esse siano parte di un cambiamento culturale di cui c’è estremamente bisogno.

Esiste una soluzione a tutto questo?

Probabilmente sì, ma non è semplice e non spetta a noi entrare nel merito. Sicuramente può essere utile assicurarsi che i set di dati forniti alle macchine siano il più limpidi possibile, ovvero senza preconcetti di genere (ma non solo), e assicurarsi anche che le persone che lavorano nella selezione dei dati siano diverse tra loro. Background ed esperienze personali differenti possono garantire l’attenzione a diversi bias culturali, che possono così essere non selezionati e di conseguenza non appresi dalle macchine.

È necessario uno sguardo intersezionale, sia nella selezione dei dati, che del personale.

Questo, ad esempio, è un compito che può essere affidato a persone che selezionano personale tenendo in considerazioni le differenze identitarie, o a consulenti professionali che possono suggerire le strategie più giuste per l’inclusione in ambito lavorativo.

Inoltre, è importante fare luce su questi aspetti, e non lasciare che se ne parli solo in settori specifici. Le conseguenze riguardano intere società, che sono già plasmate sulla base di pregiudizi e discriminazioni, e non necessitano che essi siano perpetrati anche con le nuove tecnologie.

Come risolvere specificamente il problema dei bias nell’AI può spettare a chi se ne occupa professionalmente, ma spetta a chiunque comunichi evitare che quei bias siano appresi, anche inconsapevolmente, dagli esseri umani.

Il lavoro di decostruzione dei bias è quindi più ampio e può essere compiuto da tutte le persone che ne riconoscono l’esistenza. Ci vuole molta formazione, uno sguardo attento e un ascolto attivo di chiunque abbia provato le conseguenze dei pregiudizi e degli stereotipi sulla propria pelle.