Contenuto
- Il pregiudizio di bellezza AI
- Il pregiudizio di genere nelle lingue
- 2. Discriminazione di genere ed età nei lavori
- Riconoscimento facciale non riuscito
- Distorsione da recidiva
Porta via:
Negli ultimi anni, l'IA è stata sempre più adottata e applicata a tutto, dalla valutazione della bellezza alla valutazione del rischio di recidiva. In tal modo, ha anche sostenuto standard che supportano la discriminazione e la discriminazione in diversi casi.
L'avanzamento della tecnologia ha il potenziale per democratizzare veramente l'accesso alle informazioni e opportunità. Tuttavia, quando in alcuni casi, viene utilizzato in modi che rafforzano l'idea che nella nostra società alcune persone siano più uguali di altre.
Questo è ciò che abbiamo visto dai seguenti sette casi in cui l'intelligenza artificiale (AI) viene deliberatamente utilizzata per escludere determinate categorie o in cui riflette semplicemente la distorsione incorporata dai suoi programmatori umani con un effetto discriminatorio.
Il pregiudizio di bellezza AI
La bellezza può essere negli occhi di chi guarda, ma quando quella visione soggettiva può programmare l'intelligenza artificiale, hai dei pregiudizi nel programma. Rachel Thomas ha riferito di uno di questi episodi in un concorso di bellezza di beauty.ai nel 2016. I risultati hanno mostrato che le carnagioni più chiare sono state giudicate più attraenti di quelle scure.
L'anno seguente, "FaceApp, che utilizza reti neurali per creare filtri per fotografie, ha creato un" filtro di calore "che alleggeriva la pelle delle persone e conferiva loro più funzionalità europee".
Il pregiudizio di genere nelle lingue
Thomas cita anche un esempio documentato di traduzioni che portano avanti aspettative stereotipate di carriera. Il punto di partenza è di due frasi: "È una dottoressa. È un'infermiera".
Se poi li traduci in turco e torni in inglese, otterrai il tipo di risultati che potresti aspettarti da una partita telefonica.
Invece di ottenere ciò che hai iniziato, avresti avuto il tipo di aspettativa degli anni '50: "È un dottore. È un'infermiera". Spiega che ciò è dovuto al pronome singolare di genere neutro nella lingua turca che assegnerà il genere in base alle aspettative e al pregiudizio stereotipato. (Leggi Women in AI: Rafforzare il sessismo e gli stereotipi con la tecnologia.)
Mentre i pregiudizi razziali e di genere che filtrano in immagini e linguaggio sono causa di vessazione, non sono esattamente la stessa cosa della discriminazione attiva derivante dall'intelligenza artificiale, ma ciò è accaduto anche.
La sua prova è stata una schermata delle limitazioni introdotte per un annuncio nella sua categoria di alloggi che ha permesso l'opzione di restringere il pubblico spuntando le esclusioni di categorie come afroamericani, asiatici americani o ispanici. L'annuncio può essere visualizzato qui.
Come sottolinea ProPublica, l'effetto discriminatorio di tali annunci è illegale sia in base al Fair Housing Act del 1968 che al Civil Rights Act del 1964. L'unica difesa in questo caso era che l'annuncio non era per l'edilizia abitativa, come non lo era " t su una proprietà o casa in vendita o affitto.
Tuttavia, ci sono stati altri casi di targeting che indicano pregiudizi razziali e che hanno motivato varie entità a intentare cause civili contro il social network. Come riportato da Wired, alla fine ha deciso di adeguare la sua tecnologia di targeting degli annunci a seguito di una risoluzione di cinque casi legali che l'hanno accusato di consentire la discriminazione contro le minoranze attraverso le pubblicità nel marzo 2019.
Nel suo rapporto sull'accordo, l'ACLU ha sottolineato quanto possano essere insidiose tali pubblicità mirate, in quanto le minoranze e le donne potrebbero non rendersi nemmeno conto di non avere lo stesso accesso a informazioni, alloggi e opportunità di lavoro condivise con gli uomini bianchi.
Man mano che sempre più persone si rivolgono a Internet per trovare lavoro, appartamenti e prestiti, esiste il rischio reale che il targeting degli annunci replicherà e aggraverà persino i pregiudizi razziali e di genere esistenti nella società. Immagina se un datore di lavoro sceglie di mostrare gli annunci per lavori di ingegneria solo agli uomini - non solo gli utenti che non sono identificati come uomini non vedranno mai quegli annunci, ma non sapranno mai cosa si sono persi.
Dopotutto, raramente abbiamo un modo per identificare gli annunci che non stiamo vedendo online. Il fatto che questa discriminazione sia invisibile all'utente escluso rende ancora più difficile fermarlo.
2. Discriminazione di genere ed età nei lavori
Tra i casi legali vi era la discriminazione illegale negli alloggi consentita dal targeting. Nel suo rapporto sull'insediamento, ProPublica ha dichiarato di aver testato la piattaforma e di essere riuscito ad acquistare "annunci relativi agli alloggi su gruppi esclusi come afroamericani ed ebrei, e in precedenza aveva trovato annunci di lavoro esclusi gli utenti per età e sesso inseriti dalle aziende quelli sono nomi familiari. "
Un certo numero di annunci di lavoro che ACLU ha scoperto che erano esplicitamente rivolti solo agli uomini in una determinata fascia di età, come gli utenti potevano trovare facendo clic sulla risposta al motivo per cui gli veniva mostrato quell'annuncio particolare, erano presenti in un altro articolo Wired. L'ACLU ha incaricato la Commissione per le pari opportunità di lavoro nei confronti del social network e delle società che hanno pubblicato gli annunci in quanto violano le leggi sul lavoro e sui diritti civili.
La discriminazione contro l'assunzione di persone di età superiore ai 40 anni viola la legge federale sulla discriminazione nell'occupazione (ADEA). Ma il targeting degli annunci di lavoro solo a persone di età inferiore a quella è una delle cose abilitate dalla piattaforma.
ProPublica ha affermato che il focus di una delle sue relazioni espone quali annunci di lavoro capitalizzano questa forma illegale di esclusione per età. I "nomi familiari" includono Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fund For The Public Interest, Goldman Sach, OpenWorks e se stesso, tra gli altri.
Riconoscimento facciale non riuscito
"Il riconoscimento facciale è accurato, se sei un ragazzo bianco" ha dichiarato il titolo di un articolo del New York Times pubblicato nel febbraio 2018. Ha citato risultati che hanno trovato una chiara correlazione tra il tono della pelle e l'identificazione errata:
"Più scura è la pelle, maggiori sono gli errori - fino a quasi il 35% per le immagini di donne dalla pelle scura, secondo un nuovo studio che apre nuovi orizzonti misurando il funzionamento della tecnologia su persone di razze e genere diversi".
I risultati sono stati accreditati da Joy Buolamwini, ricercatore presso il MIT Media Lab e fondatore della Algorithmic Justice League (AJL). La sua area di ricerca sono i pregiudizi che sono alla base dell'intelligenza artificiale, con risultati così distorti quando si tratta di riconoscere volti che non si adattano alla norma bianca maschile impostata per il modello.
Buolamwini ha presentato il problema della discriminazione razziale e di genere per il riconoscimento facciale in una conferenza TED del 2017, che ha riferito ai suoi inizi del 2018 nel video su The Gender Shades Project del MIT Lab:
<
Spiegato nella descrizione del video è che lasciare senza controllo la distorsione dell'IA, "paralizzerà l'era dell'automazione e aggraverà ulteriormente la disuguaglianza se lasciata a galla". I rischi non sono altro che "perdere i guadagni ottenuti con il movimento per i diritti civili e il movimento delle donne sotto il falso presupposto della neutralità della macchina".
La descrizione del video aggiunge l'avvertimento che molti altri hanno ora sottolineato, come abbiamo visto in Women in AI: Reinforcing Sexism and Stereotypes with Tech: "I sistemi automatizzati non sono intrinsecamente neutrali. Riflettono le priorità, le preferenze e i pregiudizi: il codice lo sguardo di coloro che hanno il potere di plasmare l'intelligenza artificiale ".
Il 25 gennaio 2019 Buolamnwini ha pubblicato un post Medium che ha attinto alla propria ricerca e a quella di ulteriori ricercatori che sottolineano come i difetti dell'IA si traducano in errori nel rekognition di Amazon e hanno richiesto che la società smettesse di vendere il servizio di intelligenza artificiale ai dipartimenti di polizia.
Mentre Rekognition poteva vantare una precisione del 100% per il riconoscimento dei maschi dalla pelle chiara e una precisione del 98,7% anche per i maschi più scuri, quando si trattava di femmine, l'accuratezza è scesa al 92,9% per le donne più leggere. Ancora più evidente è stato il forte calo di appena il 68,6% di precisione per le femmine più scure.
Ma Amazon ha rifiutato di cedere. Un articolo di Venture Beat ha citato una dichiarazione del Dr. Matt Wood, direttore generale di deep learning e AI presso AWS, in cui ha insistito sul fatto che i risultati dei ricercatori non riflettevano il modo in cui l'IA viene effettivamente utilizzata, spiegando:
“L'analisi facciale e il riconoscimento facciale sono completamente diversi in termini di tecnologia di base e dati utilizzati per addestrarli. Cercare di utilizzare l'analisi facciale per misurare l'accuratezza del riconoscimento facciale è sconsigliato, in quanto non è l'algoritmo previsto a tale scopo. "
Ma non sono solo quelli affiliati ai maggiori centri di ricerca che hanno riscontrato che gli algoritmi sono molto problematici. L'ACLU ha eseguito il proprio test ad un costo molto ragionevole di $ 12,33, secondo il rapporto Gizmodo. Ha scoperto che Rekognition ha abbinato 28 membri del Congresso con foto di criminali.
"Le false identificazioni sono state fatte quando l'ACLU della California del Nord ha incaricato Rekognition di abbinare le foto di tutti i 535 membri del Congresso contro 25.000 foto di foto pubblicitarie disponibili pubblicamente".
Dato che 11 su 28 erano persone di colore, ciò rifletteva un significativo tasso di errore del 39% per loro. Al contrario, il tasso di errore nel suo insieme era un 5% più accettabile. Sei membri del Congresso Internazionale Caucus, che erano tra quei Rekognition legati a foto segnaletiche, hanno espresso la loro preoccupazione in una lettera aperta al CEO di Amazon.
Distorsione da recidiva
Il pregiudizio incorporato nell'intelligenza artificiale nei confronti delle persone di colore diventa un problema più serio quando significa più di un semplice errore nell'identificazione. Questa è stata la constatazione di un'altra indagine di ProPublica nel 2016. Le conseguenze di tale distorsione non sono altro che la libertà individuale unita all'ignorare il rischio reale della persona il cui colore della pelle è favorito dall'algoritmo.
L'articolo faceva riferimento a due casi paralleli che coinvolgono un autore bianco e uno nero. È stato utilizzato un algoritmo per prevedere quale probabilmente avrebbe violato di nuovo la legge. Quello nero è stato valutato ad alto rischio e quello bianco a basso rischio.
La previsione ha sbagliato completamente, e quello bianco che è andato libero è stato imprigionato di nuovo. Ciò è estremamente problematico perché i tribunali fanno affidamento sul punteggio nel decidere la libertà condizionale, e ciò significa che il pregiudizio razziale inserito nel programma implica una disparità di trattamento ai sensi della legge.
ProPublica ha testato l'algoritmo, confrontando i punteggi di rischio di oltre 7000 persone che sono state arrestate nella contea di Broward, in Florida, nel 2013 e nel 2014 con il numero che hanno comportato nuove accuse penali nei loro due anni successivi.
Quello che hanno scoperto è che solo il 20% delle previsioni per la ripetizione di crimini di natura violenta si è avverato e che reati minori si sono verificati solo per il 61% di quelli con punteggi che indicano il rischio.
Il vero problema non è solo la mancanza di accuratezza, ma il pregiudizio razziale coinvolto:
- La formula era particolarmente probabile che contrassegnasse falsamente gli imputati neri come futuri criminali, etichettandoli erroneamente in questo modo a quasi il doppio rispetto agli imputati bianchi.
- Gli imputati bianchi erano etichettati come a basso rischio più spesso degli imputati neri.
In effetti, ciò si è tradotto in un tasso di errore del 45% per i neri e del 24% per i bianchi. Nonostante quella statistica lampante, Thomas riferì che la Corte Suprema del Wisconsin sosteneva ancora l'uso di questo algoritmo. Descrive inoltre altri problemi associati agli algoritmi di recidiva.