All’intelligenza artificiale di Amazon non piacciono le donne. Gli esperti di machine learning del colosso dell’e-commerce hanno scoperto che il nuovo motore per il recruitment digitale, basato appunto sull’AI, non teneva in considerazione le candidature femminili.
Qualche anno fa Amazon aveva messo in piedi un progetto sperimentale nel quale usava l’intelligenza artificiale per fornire punteggi per i candidati – i punteggi vanno da una a cinque stelle – sulla falsariga di quanto avviene con gli acquirenti quando valutano un prodotto comprato online. Se il motore selezionava, ad esempio 100 cv – spiegano fonti vicine alla vicenda a Reuters – Amazon avrebbe selezionato i primi cinque per l’assunzione perché quelli con il maggior numero di stelle.
Ma nel 2015 Amazon ha scoperto che il sistema non selezionava le candidature, per ruoli di sviluppatori di software e altri posti ad alto contentuto tecnologico, in modo neutrale rispetto al genere. In pratica escludeva i cv delle donne.
Questo perché il sistema di AI era stato programmato per scegliere i candidati, osservando i modelli di cv presentati alla società nell’arco di 10 anni. E la maggior parte di questi proveniva da uomini.
Dunque il software “ha insegnato a sé stesso” che i candidati uomini erano preferibili e ha penalizzato i curriculum che includevano la parola donna. Allo stesso modo ha declassato i college femminili.
Scoperta la “falla” – se così può essere definita – Amazon ha modificato la programmazione del sistema per rendere la selezione delle candidature rispetto al genere. Ma secondo gli esperti l’intervento non avrebbe comunque dato garanzia che la scelta non sarebbe stata comunque discriminatoria
All’inizio dello scorso anno, il colosso dell’e-commerce è stato costretto a sciogliere il team che gestiva il progetto di recruitment online. Amazon si è rifiutata di commentare la vicenda ma ha tenuto a ribadire di essere impegnata nel rispetto della diversità e dell’uguaglianza sui posti di lavoro.
Il test di Amazon offre un interessante caso studio sui limiti dell’apprendimento automatico e sui “pregiudizi” che caratterizzano gli algoritmi di intelligenza artificiale.
Secondo uno studio pubblicato sulla rivista Science l’intelligenza artificiale può assorbire i pregiudizi più comuni, come quelli relativi al genere, alla razza, alla religione. Aylin Caliskan, Joanna Bryson e Arvind Narayanan, ricercatori del Center for Information Technology Policy dell’Università di Princeton, hanno usato un software che analizzava i testi pubblicati sul web, legando una parola al suo contesto.
Il sistema ha analizzato centinaia di milioni di parole, mettendole in relazione a quelle più vicine nella frase. Interrogato sugli accostamenti di parole, il software rispondeva replicando i pregiudizi impliciti presenti online. Per esempio associava la parola donna, o ragazza, ad arte; e quella di uomo a scienza, replicando uno stereotipo diffuso. I pregiudizi del software riflettevano quelli misurati con test psicologici tra le persone.
Secondo lo studio, potrebbe essere possibile correggere i pregiudizi dell’intelligenza artificiale, inserendo correttivi espliciti nel software, per esempio riguardo alla razza. Inoltre, il sistema potrebbe essere usato per studiare alcuni fenomeni, come il rapporto tra il genere e il tipo di occupazione.
