Kako zgraditi etiko v AI - II. Del

Priporočila na podlagi raziskav za ohranjanje človeštva v AI

iStock by Getty Images Kredit: AndreyPopov

To je drugi del dvodelne serije o tem, kako vgraditi etiko v AI. Prvi del sem se osredotočil na gojenje etične kulture v vašem podjetju in ekipi ter preglednost v vašem podjetju in navzven. V tem članku se bomo osredotočili na mehanizme za odstranjevanje izključitve iz vaših podatkov in algoritmov. Od vseh posegov ali ukrepov, ki jih lahko izvedemo, se napredek tukaj najbolj spreminja. Še naprej se pojavljajo novi pristopi k prepoznavanju in obravnavanju pristranskosti podatkov in algoritmov, kar pomeni, da morajo biti kupci na tekočem s to novo tehnologijo.

Odstrani izključitev

Obstaja veliko načinov pristranskosti za vstop v sistem AI. Da bi jih odpravili, jih je treba najprej prepoznati.

Razumevanje vpletenih dejavnikov

Ugotovite dejavnike, ki so vidni in spremenljivi v vaših algoritmih.

Aplikacije za digitalno posojanje zajemajo številne alternativne podatke iz mobilne naprave, kot so dnevni vzorci lokacij, dejavnost družabnih medijev, ločila besedilnih sporočil ali koliko njihovih stikov je priimkov za odobritev ali zavrnitev posojil ali zaračunavanje višje obrestne mere. Kadilci in uporabniki interneta v pozni noči na primer slabo vračajo posojila. Ti podatki se običajno zbirajo brez zavedanja uporabnika, saj je dovoljenje zakopano v pogojih storitve (TOS).

Tako inženirji kot končni uporabniki so neprimerni zaradi "črne škatle". Želijo razumeti vložke, ki so prispevali k pripravi priporočil. Vendar je skoraj nemogoče natančno razložiti, kako je AI prišel do priporočila. V zgornjem primeru posojila je pomembno zapomniti, da korelacija ne pomeni vzročne zveze in kritično razmišljati o povezavah, ki so vzpostavljene, ko se sprejemajo pomembne odločitve, na primer odobritev posojila za stanovanje.

Kateri so dejavniki, ki ob manipulaciji bistveno spremenijo rezultat priporočila AI? Ustvarjalci in uporabniki lahko z razumevanjem dejavnikov, ki se uporabljajo in jih vklopijo / izklopijo, vidijo, kako vsak dejavnik vpliva na AI in iz katerih izhajajo pristranske odločitve.

Ta vodnik Christoph Molnar za pojasnitev modelov črnih skrinj je en poskus globljega kopanja. Googlovi raziskovalci so v letu 2015 pokazali še eno metodo. Zamenjali so algoritem za prepoznavanje slik, temelječ na globokem učenju, tako da bi namesto tega, da bi na fotografijah opazil predmete, ustvarjal ali spreminjal, da bi odkril funkcije, ki jih program uporablja za prepoznavanje mrene ali drug predmet.

Microsoftova skupina za vključujoče oblikovanje je v svoja orodja za oblikovanje dodala nabor smernic za prepoznavanje izključitve v AI. Preostala priporočila v tem razdelku so navdihnjena s srednjo objavo o teh petih vrstah pristranskosti.

Preprečevanje pristranskosti podatkov

Ugotovite, kdo ali kaj je izključen ali preveč predstavljen v vašem naboru podatkov, zakaj so izključeni in kako jih omiliti.

V Googlu poiščite »3 bele najstnice« in nato »3 črne najstnice« in videli boste večinoma fotografije fotografij za bele najstnike in večinoma posnetke vrtov za črne najstnike. To je posledica pomanjkanja fotografij zalog črnih najstnikov v naboru podatkov, vendar je enostavno opaziti, kako bi sistem AI pripravljal pristranske sklepe o verjetnosti aretacije črnega in belega najstnika, če bi bil usposobljen ravno na tem naboru podatkov.

Sprememba nabora podatkov povzroči prekomerno ali premajhno predstavitev skupine. Na primer, vaš nabor podatkov je lahko močno prilagojen najbolj naprednim uporabnikom, pod tem pa predstavlja preostalo populacijo uporabnikov. Rezultat je lahko ustvarjanje izdelka ali storitve, ki jo imajo vaši uporabniki energije, hkrati pa svojim uporabnikom nikoli ne dajejo priložnosti, da rastejo in uspevajo. Kako to izgleda in kako to popravite?

  • Kaj: Večino vašega nabora podatkov predstavlja ena skupina uporabnikov.
    Kako: Za obravnavo neuravnoteženih razredov v strojnem učenju uporabite metode, kot je stroškovno občutljivo učenje, spremembe metod vzorčenja in odkrivanje anomalij.
  • Kaj: Statistični vzorci, ki veljajo za večino, so lahko znotraj manjšinske skupine neveljavni.
    Kako: ustvarite različne algoritme za različne skupine, ne pa ene velikosti.
  • Kaj: Kategorije ali oznake preveč poenostavljajo podatkovne točke in so morda napačne za kakšen odstotek podatkov.
    Kako: Ocenite z uporabo poštene poštenosti, ki je odvisna od poti. To je oblika odločanja za stroje, pri katerih je presoja o nekomu označena kot pravična, če bi bila ista sodba, če bi bila ta oseba v drugi demografski skupini po nepoštenih poteh (npr. Če bi bila ženska moški, ali beli mož je bil črn), kot je razložil Parmy Olson.
  • Kaj: Ugotovite, kdo je izključen, in vpliv na vaše uporabnike, pa tudi na spodnjo vrstico. Kontekst in kultura sta pomembna, vendar jih je v podatkih "nemogoče videti".
    Kako: prepoznajte neznane neznanke, kot predlagajo raziskovalci Stanford in Microsoft Research.

Prepreči pristranskost združenja

Ugotovite, ali vaši podatki o usposabljanju ali oznakah predstavljajo stereotipe (npr. Spol, narodnost) in jih uredite, da jih ne boste povečevali.

V naboru fotografij, ki se uporablja za usposabljanje AI sistemov za prepoznavanje slik, so raziskovalci ugotovili, da je na fotografijah bilo več žensk kot moških na fotografijah, povezanih s kuhanjem, nakupovanjem in pranjem, medtem ko so fotografije, ki vsebujejo vožnjo, fotografiranje in treniranje, imele več moških kot žensk.

Pridružitvena pristranskost je, ko se podatki, ki se uporabljajo za treniranje modela, utrjujejo in povečujejo stereotip, ki ni omejen na slike. Na primer, v nevtralnih spolih jezikih, kot je turški, Google Translate prikazuje spolno pristranskost, tako da "he" združi z besedami, kot so "pridni", "zdravnik" in "predsednik" ter "ona" z besedami, kot so "leni", "medicinska sestra, "In" varuška ". Podobne pristranosti so bile najdene tudi v iskanju Google News.

Na žalost bodo aplikacije za strojno učenje z uporabo teh pristranskih nabora podatkov to pristranskost še povečale. V primeru fotografij je imelo nabora podatkov 33% več žensk kot moških na fotografijah, ki vključujejo kuhanje, vendar je algoritem to pristranskost še povečal na 68%! To je posledica uporabe diskriminatornih modelov (v nasprotju z generativnimi modeli), ki povečujejo natančnost algoritmov s povečanjem posploševanj (pristranskosti) v podatkih. Laura Douglas lepo razloži ta postopek, če želite izvedeti več.

Rezultat razširitve pristranskosti pomeni, da preprosto prepuščanje podatkovnih nizov takšnim, kot je "resničnost" (npr. 91% medicinskih sester v ZDA je ženska) ni pravilen pristop, ker AI izkrivlja že neuravnoteženo perspektivo. To ljudem otežuje zavedanje, da je danes veliko moških medicinskih sester v delovni skupini in si zaslužijo višje plače kot na primer ženske.

Raziskovalci so našli načine, kako popraviti nepošteno pristranskost, hkrati pa ohraniti natančnost z zmanjšanjem ojačanja pristranskosti spolov z uporabo omejitev na ravni korpusa in z negibnimi vdelavami besed. Če se vaš sistem AI sčasoma uči, je treba redno preverjati rezultate sistema, da zagotovite, da se pristranskosti ne bodo ponovno vpisale v vaš nabor podatkov. Naslavljanje pristranskosti ni enkratno; zahteva stalno budnost.

Rezultat razširitve pristranskosti pomeni, da preprosto prepuščanje podatkovnih nizov takšnim, kot je to, da predstavlja "resničnost" ... ni pravi pristop, ker AI izkrivlja že neuravnoteženo perspektivo.

Prepreči potrditev pristranskosti

Ugotovite, ali pristranskost v sistemu ustvarja prepolno prerokbo in preprečuje svobodo izbire.

Sistem Compas AI, ki ga nekateri sodni sistemi uporabljajo za napovedovanje tveganja obsojenega kaznivega dejanja za ponovno kršitev kaznivega dejanja, se je izkazal za sistemsko osnovno proti obarvanim ljudem, kar ima za posledico odpoved pogojne ali daljše zaporne kazni.

Potrjevanje pristranskosti krepi predsodke o skupini ali posamezniku. Rezultat je odmevna komora s predstavitvijo informacij ali možnosti, podobnih tistim, ki jih je posameznik izbral prej ali za njih. V zgornjem primeru je članek ProPublica pokazal, da je bolj verjetno, da je algoritem, ki ga je uporabil Compas AI, napačno razvrstil črne obtožence, da imajo visoko tveganje za ponovno obravnavo in bolj verjetno, da bodo beli obtoženci kategorizirali kot nizko tvegane. Druga študija je pokazala, da so nekvalificirani delavci Amazonske mehanične turkinje, ki uporabljajo samo šest dejavnikov za napoved recidivizma, enako natančni kot Compas z uporabo 157 faktorjev (67% v primerjavi s 65% natančnostjo).

Tudi ko dirka ni bila eden izmed uporabljenih dejavnikov, sta oba verjetneje napačno napovedala, da se bodo črni obtoženci ponovno odzvali, beli obtoženci pa ne. To je zato, ker so določene podatkovne točke (npr. Čas v zaporu) posrednik teka, ki ustvarja zaletne povratne zanke, ki nesorazmerno vplivajo na tiste, ki so že socialno prikrajšani.

Sistem Compas je le en primer, vendar se del prebivalstva srečuje s podobno pristranskostjo v številnih sistemih, o katerih se tukaj razpravlja, vključno s prediktivnim policijskim delovanjem, aplikacijami za posojanje, storitvami za vožnjo in asistentom AI. Lahko si samo predstavljamo, kako pretirano bi se lahko vsak dan spopadli s pristranskostjo in izključenostjo na več frontah. Tako kot pri drugih vrstah pristranskosti morate tudi sami preizkusiti svoje rezultate, da opazite pristranskost, ugotovite pristranske dejavnike in jih nato odstranite, da prekinete te odmične povratne zanke.

Prepreči pristranskost avtomatizacije

Ugotovite, kdaj vaše vrednosti prepišejo uporabnikove vrednosti, in določite načine, kako lahko uporabniki razveljavijo.

Pričakovano je bilo, da je lepotno tekmovanje AI v svojih ocenah lepote nepristransko, vendar so bili skoraj vsi zmagovalci beli.

Avtomatična pristranskost sili večino vrednot manjšine, kar škodi raznolikosti in svobodi izbire. Nato se izvajajo vrednosti ustvarjalcev AI sistema. V zgornjem primeru je lepotni natečaj AI označil predvsem bele obraze kot najlepše na podlagi podatkov o treningih. Evropski standardi o lepoti se danes spopadajo s kakovostjo neevropejcev, zaradi česar fotografije temnopoltih ljudi niso izpostavljene, sistemi AI pa jih težko prepoznajo. To posledično povzroči žalitve nalepk (npr. "Incident z gorilo" v storitvi Google Photos) in obvestila (npr. "Pametne" kamere, ki Azijce sprašujejo, ali utripajo). Še huje, policijski sistemi prepoznavanja obraza nesorazmerno vplivajo na Afroameričane.

Če želite začeti obravnavati to pristranskost, je treba najprej začeti s preučevanjem rezultatov za pristranskost na podlagi vrednosti (npr. V podatkih o usposabljanju ni raznolikosti, da bi predstavili vse uporabnike ali širšo populacijo; subjektivne oznake predstavljajo vrednosti ustvarjalca).

V prejšnjem primeru posojanja aplikacij, ki sprejemajo odločitve glede na to, ali nekdo kadi ali ne, je treba postaviti vprašanje, ali to predstavlja vrednote ustvarjalcev ali večine prebivalstva (npr. Kajenje je slabo, zato kadilci slabijo). Vrnite se na analizo socialnih sistemov, če želite od uporabnikov pridobiti povratne informacije in ugotoviti, ali so njihove vrednote ali kulturni vidiki prepisani. Bi vaši uporabniki podali enake ocene ali priporočila kot AI? Če ne, spremenite podatke o vadbi, nalepke in algoritme, da predstavljajo raznolikost vrednosti.

Omilitev pristranskosti medsebojnega delovanja

Razumejte, kako se vaš sistem uči iz interakcij v realnem času in postavite čeke, da omilite zlonamerne namene.

Inspirobot uporablja AI in vsebine, ki jih strga iz spleta, da ustvari "navdihujoče" citate, rezultati pa segajo od zabavnih do surovih in nihilističnih.

Medsebojna pristranskost se zgodi, kadar ljudje komunicirajo z ali namerno poskušajo vplivati ​​na AI sisteme in ustvarjajo pristranske rezultate. Ustvarjalec Inspirobota poroča, da so citovi bota odraz tega, kar najde na spletu, njegovi poskusi, da bi ublažil nihilistične težnje, pa so jih samo še poslabšali.

Morda se ne boste mogli izogniti ljudem, ki poskušajo namerno škodovati vašemu AI sistemu, vendar morate vedno voditi predsodke, da ugotovite načine, kako bi lahko zlorabili sistem AI in povzročili škodo. Ko ugotovite potencial za zlorabo, morate preveriti, če je to mogoče, in popraviti, ko ne morete. Redno preglejte podatke, ki jih vaš sistem uporablja za učenje in odstranjevanje pristranskih podatkovnih točk.

Morda se ne boste mogli izogniti ljudem, ki poskušajo namerno škodovati vašemu AI sistemu, vendar morate vedno voditi predsodke, da ugotovite načine, kako bi lahko zlorabili sistem AI in povzročili škodo.

Kam od tu

Pristranskost v AI je odraz pristranskosti v naši širši družbi. Vgradnja etike v AI odpravlja simptome veliko večje težave. Kot družba se moramo odločiti, da cenimo enakost in pravičnost za vse, nato pa to storimo tudi v resničnem življenju, ne le v naših sistemih AI. AI lahko postane Veliki demokratizer ali poveča socialno krivico, vi pa se odločite, na kateri strani tega spektra boste želeli svoje izdelke.

Hvala Justin Tauber, Liz Balsam, Molly Mahar, Ayori Selassie in Raymon Sutedjo-The za vse vaše povratne informacije!

Spremljajte nas na @SalesforceUX.

Želite sodelovati z nami? Pišite na uxcareers@salesforce.com