Il nuovo set di dati open source di Facebook potrebbe aiutare a rendere l’IA meno parziale

Facebook ha creato ed etichettato un nuovo set di dati video open source, che il gigante dei social media spera farà un lavoro migliore nel rimuovere i pregiudizi durante il test delle prestazioni di un sistema di intelligenza artificiale.

Soprannominato “Conversazioni casuali”, il set di dati comprende 45.186 video di poco più di 3.000 partecipanti che hanno una chat senza script e ha una distribuzione uniforme di diversi generi, gruppi di età e tonalità della pelle.

Intelligenza artificiale

• I ricercatori sviluppano un sistema di intelligenza artificiale per migliorare il rilevamento delle malattie degli occhi
• Il team AI di Amazon AWS cerca il profondo nell’industria
• Un ecosistema di intelligenza artificiale non è necessariamente tutto cloud
• Cos’è l’IA? Tutto quello che c’è da sapere sull’Intelligenza Artificiale

Facebook ha chiesto agli attori pagati di inviare i video e di fornire essi stessi etichette di età e sesso, per rimuovere il maggior numero possibile di errori esterni nel modo in cui il set di dati è annotato. Il team di Facebook ha quindi identificato diverse tonalità della pelle, sulla base della consolidata scala Fitzpatrick, che include sei diversi tipi di pelle.

VEDERE: Costruire il cervello bionico (PDF gratuito) (Repubblica tecnologica)

Gli annotatori hanno anche etichettato il livello di illuminazione in ogni video, per aiutare a misurare il modo in cui i modelli di intelligenza artificiale trattano le persone con tonalità della pelle diverse in condizioni ambientali di scarsa illuminazione.

“Conversazioni casuali” sono ora disponibili per i ricercatori da utilizzare per testare sistemi di visione artificiale e intelligenza artificiale audio, sebbene non per sviluppare i loro algoritmi, ma piuttosto per valutare le prestazioni di un sistema addestrato su diverse categorie di persone.

I test sono parte integrante della progettazione di un sistema di intelligenza artificiale e in genere i ricercatori misurano il loro modello rispetto a un set di dati etichettato dopo che l’algoritmo è stato addestrato per verificare quanto sia accurata la previsione.

Un problema con questo approccio è che quando il set di dati non è composto da dati sufficientemente diversificati, l’accuratezza del modello verrà convalidata solo per un sottogruppo specifico, il che potrebbe significare che l’algoritmo non funzionerà altrettanto bene di fronte a diversi tipi di dati.

Queste potenziali carenze sono particolarmente sorprendenti nel caso di un algoritmo che fa previsioni sulle persone. Studi recenti, ad esempio, hanno dimostrato che due dei set di dati comuni utilizzati per i modelli di analisi facciale, IJB-A e Adience, erano prevalentemente composti da soggetti dalla pelle più chiara (rispettivamente 79,6% e 86,2%).

Questo è in parte il motivo per cui gli ultimi anni sono stati pieni di esempi di algoritmi che prendono decisioni distorte contro determinati gruppi di persone. Ad esempio, uno studio del MIT che ha esaminato i prodotti di classificazione di genere offerti da IBM, Microsoft e Face++, ha rilevato che tutti i classificatori hanno prestazioni migliori sui volti maschili rispetto a quelli femminili e che risultati migliori sono stati ottenuti anche con individui dalla pelle più chiara.

Laddove alcuni dei classificatori non hanno commesso quasi errori nell’identificare i volti maschili più chiari, hanno scoperto i ricercatori, il tasso di errore per i volti femminili più scuri è salito fino a quasi il 35%.

È fondamentale, quindi, verificare che un algoritmo non sia solo accurato, ma anche che funzioni allo stesso modo tra diverse categorie di persone. Le “conversazioni casuali”, in questo contesto, potrebbero aiutare i ricercatori a valutare i loro sistemi di intelligenza artificiale in un insieme diversificato di età, genere, tonalità della pelle e condizioni di illuminazione, per identificare i gruppi per i quali i loro modelli potrebbero funzionare meglio.

“Il nostro nuovo set di dati Casual Conversations dovrebbe essere utilizzato come strumento supplementare per misurare l’equità della visione artificiale e dei modelli audio, oltre ai test di accuratezza, per le comunità rappresentate nel set di dati”, ha affermato il team AI di Facebook.

Oltre a distribuire uniformemente il set di dati tra i quattro sottogruppi, il team ha anche assicurato che le intersezioni all’interno delle categorie fossero uniformi. Ciò significa che, anche se un sistema di intelligenza artificiale funziona ugualmente bene in tutte le fasce d’età, è possibile individuare se il modello ha prestazioni inferiori per le donne anziane con la pelle più scura in condizioni di scarsa illuminazione, ad esempio.

Facebook ha utilizzato il nuovo set di dati per testare le prestazioni dei cinque algoritmi che l’anno scorso hanno vinto il Deepfake Detection Challenge dell’azienda, sviluppati per rilevare i media falsificati che circolano online.

Tutti gli algoritmi vincitori hanno lottato per identificare video falsi di persone in particolare con tonalità della pelle più scure, hanno scoperto i ricercatori e il modello che ha prodotto le previsioni più equilibrate in tutti i sottogruppi è stato in realtà il vincitore del terzo posto.

VEDERE: Riconoscimento facciale: non usarlo per curiosare su come si sente il personale, dice watchdog

Sebbene il set di dati sia già disponibile per l’utilizzo da parte della comunità open source, Facebook ha riconosciuto che le “conversazioni casuali” presentano delle limitazioni. Solo le scelte di “maschio”, “femmina” e “altro” sono state avanzate per creare etichette di genere, ad esempio, che non riescono a rappresentare le persone che si identificano come non binarie.

“Nel prossimo anno esploreremo percorsi per espandere questo set di dati in modo che sia ancora più inclusivo, con rappresentazioni che includono una gamma più ampia di identità di genere, età, posizioni geografiche, attività e altre caratteristiche”, ha affermato la società .

Facebook stesso ha esperienza di algoritmi tutt’altro che perfetti, come quando il suo algoritmo di consegna degli annunci ha portato le donne a mostrare meno campagne che avrebbero dovuto essere neutrali rispetto al genere, ad esempio annunci di carriera STEM.

La società ha affermato che Casual Conversations sarà ora disponibile per tutti i suoi team interni e sta “incoraggiando” il personale a utilizzare il set di dati per la valutazione, mentre il team di intelligenza artificiale lavora per espandere lo strumento per rappresentare gruppi più diversificati di persone.

Innovazione

• I ricercatori sviluppano un sistema di intelligenza artificiale per migliorare il rilevamento delle malattie degli occhi
• United Airlines vuole che i clienti paghino per qualcosa di scandaloso
• Mentre le collisioni tra animali aumentano, le termocamere offrono speranza
• Cos’è l’IA? Tutto quello che devi sapere