Amazon Scraps Secret AI Recruiting Engine, ki je pokazal pristranskosti proti ženskam

Znanstveniki AI Research v Amazonu so odkrili pristranskost žensk na njihovem motorju za strojno učenje

11. oktobra 2018 Roberto Iriondo

Zasluge: Verge |

Ugledni profesor Stuart Evans je na predavanju na univerzi Carnegie Mellon omenil, kako lahko pristranskosti algoritmov strojnega učenja negativno vplivajo na našo družbo, ne glede na to, ali jih nezavedno dodajamo z nadzorovanim učenjem ali zamudimo revizije z drugimi vrstami strojnega učenja. V tem primeru je Amazonova raziskovalna skupina AI že od leta 2014 gradila motorje za zaposlovanje, ki temelji na strojnem učenju in je skrbela za pregled nad življenjepisom prosilcev, da bi inteligentno avtomatizirala iskanje najboljših talentov.

Citiranje znanstvenika raziskave AI v skupini: "Vsi so si želeli tega svetega grala," je rekel eden od ljudi. "Dobesedno so želeli, da je to motor, kjer vam bom dal 100 življenjepisov, izlil bo prvih pet, najeli pa jih bomo." Vendar je Amazon do leta 2015 spoznal, da njegov novi sistem ni ocenjeval kandidatov za delovna mesta razvijalcev programske opreme in druga tehnična delovna mesta na spolno nevtralen način.

Amazonov model zaposlovanja na področju strojnega učenja je bil usposobljen za veterinarje z analizo določenih parametrov v življenjepisih, ki jih je podjetje poslalo v desetletnem obdobju. Zaradi pristranskosti, ki jo je imel model strojnega učenja, so bili kot moški ustvarjeni najbolj idealni kandidati, kar je odraz moške prevlade v tehnološki industriji - zato podatki, ki jih podaja model, niso bili pristranski do enakosti spolov, ampak au contraire.

Amazonova raziskovalna skupina navaja, da so spremenili osrednje algoritme in naredili model strojnega učenja nevtralen glede na pristranskost spolov, vendar to ni zagotovilo, da motor ne bo uporabil drugih načinov razvrščanja kandidatov (tj. Moških prevladujočih ključnih besed v življenjepisih prosilca), ki bi lahko izkazati diskriminatorno.

Delodajalci že dolgo sanjajo, da bi uporabili tehnologijo, da bi razširili proces najema in zmanjšali odvisnost od subjektivnih mnenj človeških najetih oseb. Kljub temu znanstveniki za raziskave ML, kot je Nihar Shah, katerih raziskave so na področju teorije statističnega učenja in teorije iger, s poudarkom na učenju ljudi na oddelku za strojno učenje na univerzi Carnegie Mellon, pravijo, da je treba še veliko delati.

"Kako zagotoviti, da je algoritem pošten, kako zagotoviti, da je algoritem res razumljiv in razložljiv - to je še precej daleč," je omenil profesor Shah.

Zasluge: Han Huang | Razvijalec podatkov za vizualizacijo podatkov | Grafika Reuters

Moške ključne besede o življenjepisih so bile ključne po spremembi algoritmov na modelih strojnega učenja iz Amazonovega zaposlovalnega stroja. Raziskovalna skupina je ustvarila 500 modelov, ki so se osredotočali na posebne funkcije in lokacije dela. Vsakega so naučili prepoznati več kot 50.000 parametrov, ki so se pokazali na življenjepisih prosilcev. Algoritmi so se na koncu naučili dodeljevati nizek odstotek pomembnosti veščinam, ki so bile skupne vsem prijaviteljem, tj. Programskim jezikom, uporabljenim platformam itd.

Končne opombe:

Za našo družbo je pomembno, da nadaljujemo s poudarkom na strojnem učenju, vendar s posebno pozornostjo do pristranskosti - ki se včasih nezavedno dodajajo na teh programih. K sreči je Amazonova raziskovalna skupina AI prepoznala takšne pristranskosti in ukrepala po njej. Kljub temu je retorično gledano - kaj pa, če te pristranosti na koncu niso bile prepoznane, ki so jim nato dodali tako pristransko odločitev za odločanje o ML za splošno zaposlovanje talentov v podjetju?

Učinek, skupaj s posledicami, bi bil resen.

Vedno sem odprt za povratne informacije, prosimo, da jih delite v komentarjih, če opazite nekaj, kar bo morda treba pregledati. Hvala za branje!

ODGOVORNOST: V tem članku so mnenja avtorja (-ov) in ne predstavljajo stališč Carnegie Mellon University niti drugih podjetij (neposredno ali posredno), povezanih z avtorjem (-i). Ti prispevki niso končni izdelki, temveč so odraz trenutnega razmišljanja in hkrati katalizator za razpravo in izboljšave.

Najdete me na: moji osebni spletni strani, Medium, Instagramu, Twitterju, Facebooku, LinkedInu ali prek mojega podjetja za oblikovanje spletnih strani.

Reference: