Prepričevanje algoritmov z AI Nudge

Preverjanje dejstev lahko zmanjša širjenje nezanesljivih novic. Lahko stori tudi nasprotno.

(ta objava se je prvotno pojavila na spletni strani civilservant.io)

Bralci r / worldnews na redditu pogosto sporočajo novice o tabloidih moderatorjem prostovoljcev in jih prosijo, naj prepovedo tabloide za svoje senzacionalizirane članke. Te okrašene zgodbe ujamejo oči ljudi, pritegnejo polemiko in opazijo jih algoritem za razvrščanje reddita, ki jih širi še bolj.

Prepoved novic o tabloidih bi lahko končala to povratno zanko, vendar moderatorji skupnosti nasprotujejo prepovedim. Za rešitev te sestavljanke so morali moderatorji odgovoriti na vprašanje v središču razprav o tako imenovanih "lažnih novicah": kako lahko ohranimo svobodo prispevkov in hkrati vplivamo na medsebojno vedenje ljudi in algoritme v dobro skupnosti?

To zimo so moderatorji sodelovali z CivilServantom, da bi preizkusili idejo: kakšni so učinki spodbudnega preverjanja dejstev na odziv na nezanesljive novice? Želeli smo videti, kako se bo odzvala r / worldnews skupnost. Opazili smo tudi učinek na uvrstitvi reddita. Če bi algoritmi reddit preverjanje dejstev razlagali kot priljubljenost, bi se nezanesljivi članki lahko še bolj širili.

Tabloidne novice so približno 2,3% vseh prispevkov k tej 15-milijonski naročniški skupnosti, ki razpravlja o novostih zunaj ZDA. V r / worldnews 70 moderatorjev pregleda približno 450 člankov na dan in dovoli, da ostane 68% teh člankov. Ker gre za privzeti podreddit, večina bralcev reddita po tej skupnosti dobi novice po svetu. Medtem ko doseg skupnosti omejuje Facebook, je r / worldnews največja enotna skupina za razpravljanje o svetovnih novicah kjer koli v angleško govorečem internetu. Že majhni učinki v tej skupnosti lahko zelo spremenijo to, kako milijoni ljudi smiselno zaupajo informacije o svetu.

V naši raziskavi od 27. novembra do 20. januarja smo A / B testirali sporočila, ki spodbujajo skupnost k preverjanju dejstev in glasovanju o novicah tabloidov. Tukaj smo ugotovili:

Vpliv spodbujanja preverjanja dejstev na vedenje skupnosti

V okviru razprav o tabloidnih prispevkih o r / worldnews, spodbujanje preverjanja dejstev poveča stopnjo pojavnosti komentarjev s povezavami v povprečju za 2x, spodbujanje preverjanja dejstev + glasovanje pa ima podoben učinek.

Vpliv spodbujanja preverjanja dejstev na algoritme Reddita

Opazovali smo več kot 24 ur in ugotovili, da so v povprečju lepljivi komentarji, ki so spodbudili preverjanje dejstev, povzročili 2x zmanjšanje ocene reddit predstavitev tabloidov, kar je statistično pomemben učinek, ki je verjetno vplival na uvrstitev v podredditu. Ko smo tudi bralce spodbudili k glasovanju, je ta učinek izginil.

AI Nudges: Prepričevanje algoritmov ob ohranjanju svobode

Naša vprašanja o tabloidnih novicah so klasičnemu vprašanju o upravljanju dodala algoritmično razsežnost: kako si lahko ljudje z močjo prizadevajo za skupno dobro in hkrati zmanjšajo omejitve svobode posameznika?

algoritme lahko prepričamo, da se obnašajo drugače, tako da ljudi prepričamo, da se drugače obnašajo.

Po internetu se ljudje naučijo živeti z AI sistemi, ki jih ne morejo nadzorovati. Na primer, vozniki Uberja prilagodijo vožnjo, da optimizirajo svoj dohodek. Naše kolektivno vedenje že ves čas vpliva na sisteme AI, vendar javnosti do zdaj primanjkuje informacij o tem, kakšen vpliv dejansko je. Ti neprozorni rezultati so lahko težava, kadar algoritmi opravljajo ključne vloge v družbi, kot so zdravje, varnost in poštenost. Nekateri raziskovalci za rešitev tega problema oblikujejo sisteme "družba v krogu" [4]. Drugi razvijajo metode za revizijo algoritmov [5] [6]. Vendar noben pristop ne ponuja načina upravljanja vsakodnevnega vedenja sistemov, katerih kod ne moremo nadzorovati. Naša študija z r / worldnews ponuja tretjo smer; algoritme lahko prepričamo, da se obnašajo drugače, tako da ljudi prepričamo, da se drugače obnašajo.

Nekateri se lahko vprašajo, ali ta poskus predstavlja manipulacijo z glasovanjem, kar je v nasprotju s politiko reddit-a. Naše lepljive opombe ne kršijo nobenega od pravil reddita za osebno korist (prav tako nismo ustvarili ponarejenih računov, ljudem povedali, kako naj glasujejo ali ne organizirajo glasovalnega bloka). Vendar smo pokazali, da je spodbujanje ljudi k preverjanju dejstev sistematično vplivalo na algoritme reddit.

Ideja o "AI potiski" nam daje način razmišljanja o prosocialnih prizadevanjih za vpliv na človekovo in strojno vedenje ob ohranjanju svobode posameznika. Richard Thaler in Cass Sunstein sta najprej predlagala „spodbude“ kot načine, kako institucije lahko izvajajo svojo moč ob ohranjanju svobode posameznika [7]. V primerjavi s prepovedjo novic o tabloidih je AI spodbudno preverjanje dejstev najlažji ukrep, ki bi ga lahko sprejeli moderatorji. Nikogar ni mogoče deliti novic, komentirati ali glasovati, vendar AI pritisk še vedno duši širjenje nezanesljivih novic.

Kot poudarjata Sunstein in Thaler, ni vedno očitno, ali bodo ti posegi z lahkim dotikom imeli želeni rezultat. Zato bi morali sistematično testirati njihove učinke, še posebej, ker imajo lahko nepreverjeni sistemi nepričakovane rezultate.

Upravljanje in etika AI Nudges

Hodi vlad in socialni eksperimenti spletnih platform pogosto pritegnejo podobne kritike. Mislim, da ljudje upravičeno pričakujejo odgovornost od tistih, ki izvajajo spodbudo. S sodelovanjem s prostovoljnimi moderatorji sem lahko delal z večjo stopnjo preglednosti in odgovornosti, kot je značilno za socialno računalništvo. Vse študije CivilServant so zasnovane s skupinami za moderiranje in vsi rezultati so najprej razkriti skupnosti v podzavestnem poročanju o podredditu. Naši načrti študije so javno objavljeni v okviru Open Science Framework, preden začnemo, in vsa naša koda je odprtokodna. Podrobnosti o celotni analizi so tudi javne, tako da lahko vsakdo preveri naše sklepe. Edina stvar, ki jo zadržujemo, so dejanski podatki, saj spoštujemo zasebnost vseh vpletenih.

Na splošno upam, da spodbude AI, zlasti če jih vodijo skupnosti, ponujajo vznemirljivo usmeritev javnosti za upravljanje vloge algoritmov v družbi, hkrati pa ohranjajo svobodo posameznika.

Kako je študija delovala

Za ta test so moderatorji začeli s seznamom virov novic, ki pogosto prejemajo pritožbe. Od 27. novembra do 20. januarja smo vsaki novi tabloidni povezavi naključno dodelili enega od treh pogojev: (a) brez lepljivega komentarja, (b) lepljivega komentarja, ki spodbuja skepticizem, (c) lepljiv komentar, ki spodbuja skepticizem + glasovanje (podrobne informacije tukaj ).

To sporočilo smo objavili na vrhu razprav o novicah s tabloidi

Drugi pa ljudi spodbuja, naj članek preverijo in razmislijo o preklicu povezave, če ne najdejo podpornih dokazov za njene trditve:

To drugo sporočilo je ljudi spodbudilo k razmisleku o prepovedi

Ali lahko preverjanje dejanj vpliva na vedenje Kako algoritmi reddita vidijo nezanesljive novice?

Čeprav smo bili prepričani, da bodo b / r world worldws bralci pomagali, če bi moderatorji vprašali, smo se tudi vprašali: če povečamo komentiranje novic o tabloidih, ali bi lahko slučajno povzročili algoritme reddit za promocijo teh povezav na tabloide?

Če bi preverjanje dejstev povečalo priljubljenost nezanesljivih virov novic, bo skupnost morda morala ponovno razmisliti, kam bi se lahko trudila. Zato so moderatorji preizkusili drugo lepljivo pripombo, tisto, ki bralce spodbuja, naj razmislijo o neprijavljanju.

Da bi preizkusili učinek lepljivih komentarjev na algoritme reddit, je programska oprema CivilServant vsake štiri minute zbirala podatke o rezultatih objav. Platforma ne objavi natančno tega, kar spada v rezultat ali kako natančno deluje njegova uvrstitev (vprašal sem). Vendar smo lahko zanesljivo napovedali razvrstitev objave na strani podreddit HOT na podlagi njene starosti in ocene (podrobne informacije najdete tukaj). V bistvu, če bi preverjanje dejstev močno vplivalo na oceno članka, je verjetno vplivalo na uvrstitev članka na prvi strani podreddit. To sem preizkusil na dva načina: s primerjavo rezultatov po 24 urah in z modeliranjem sprememb v rezultatih skozi čas.

Z negativnim binomnim modelom sem preizkusil učinek na rezultate po 24 urah. Medtem ko so algoritmi reddita stali med našim eksperimentom, so spodbudili preverjanje dejstev, ki je povzročilo, da so prispevki tabloidov po 24 urah v r / worldnews prejeli 49,1% (2,04x nižje) ocene prispevkov brez lepljivega komentarja. Učinek je statistično pomemben. V tem modelu nisem uspel najti učinka iz lepljivih komentarjev, ki so bralce spodbudili k premisleku.

Preizkusil sem tudi učinek preverjanja dejstev na hitrost ocene ocene objave. Da bi zastavili to vprašanje, prilagam naključni model linearne regresije na oceno, pretvorjeno v dnevnik, vsake štiri minute. Ugotovil sem, da spodbudno preverjanje dejstev povzroči, da je stopnja rasti ocene nižja. Tu sem ugotovil, da spodbudno glasovanje v povprečju dejansko ima majhen pozitiven učinek na stopnjo rasti rezultatov. Ker smo v začetku decembra 2016 izvedli poskus med spremembo algoritmov reddit, sem tudi ugotovil, da se je vpliv teh lepljivih komentarjev na algoritme reddit morda spremenil, potem ko je reddit prilagodil svoje algoritme (podrobnosti).

Kdo je pomagal pri preverjanju dejstev v člankih z novicami?

Od 930 komentarjev, ki niso uporabniki botrov, s povezavami, ki so jih moderatorji lahko pustili, je 737 uporabniških računov prispevalo povezave do nadaljnjih dokazov. Od tega je 133 računov objavilo več komentarjev s povezavami. Veliko ljudi je dejansko preverilo svoje prispevke, vlagatelji pa so za dodatne informacije objavili 81 komentarjev.

Kaj ne moremo vedeti iz te študije?

Rezultat tega preskusa je rezultat razprav, ne pa posameznih računov, zato ne moremo vedeti, ali so bili posamezni ljudje prepričani, da so bolj skeptični ali pa so zaradi lepljivih komentarjev že skeptični ljudje preiskovali in delili. Prav tako nimam dokazov o vplivu preverjanja dejstev na bralce, čeprav druge raziskave kažejo, da preverjanje dejstev vpliva na prepričanja bralcev [2] [3].

Ta študija nam ne more povedati veliko o tem, zakaj vidimo tako veliko spremembo v algoritmičnih učinkih, ko spreminjamo sporočilo tako, da spodbujamo bralce, naj razmislijo o neprijavljanju. Ta razlika je lahko primer tega, kar psihologi imenujejo "reaktivnost", odpor do predlogov avtoritete. Če pa pošiljatelji novic skrbijo, da bi se povezave lahko spremenile, lahko zaprosijo za pomoč, kar uravnoteži vedenje bralcev.

Ali bi to delovalo z drugimi vrstami povezav, v drugih poddrugih ali na drugih spletnih mestih? Ta študija je omejena na določeno skupnost in seznam spletnih mest. Čeprav sumim, da bi številne velike spletne skupnosti bralcev pomagale pri preverjanju dejstev, če bi moderatorji vprašali, so naše ugotovitve o algoritmu reddit veliko bolj umeščene.

Na ta vprašanja bi lahko odgovorili, če bi se več podredditov odločilo za podobne poskuse. Če vas zanima, se obrnite na Reddit in se pogovorite o izvedbi podobnega preizkusa ter se prijavite na posodobitve po e-pošti.

Več o tem eksperimentu

Moj doktorat vključuje podporo skupnostim, da preizkusijo učinke svojih lastnih praks moderiranja. Ta eksperiment sem oblikoval skupaj z moderatorji r / worldnews, odobril pa ga je Odbor MIT za uporabo ljudi kot eksperimentalnih predmetov. Če imate kakršna koli vprašanja ali pomisleke, se obrnite natematias na redditmail.

Ta eksperiment je, tako kot vse moje doslej raziskave o redditu, potekal neodvisno od platforme reddit, ki ni imela nobene vloge pri načrtovanju ali zasnovi eksperimenta. Poskus še ni bil recenziran. Vsi rezultati CivilServant so objavljeni javno nazaj v vpletene skupnosti takoj, ko bodo rezultati pripravljeni, akademske publikacije pa pozneje.

Vse podrobnosti eksperimenta so bile objavljene vnaprej v načrtu pred analizo na osf.io/hmq5m/. Če vas statistika zanima, sem objavil vse podrobnosti analize.

Reference

[1] Salganik, M. J., Watts, D. J. (2008). Vodenje črede: eksperimentalna študija samouresničevanja prerokb na umetnem kulturnem trgu. Četrtletna socialna psihologija, 71 (4), 338–355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz in John Cook. Dezinformacija in njeno odpravljanje sta nadaljevala vpliv in uspešno odstranjevanje. Psihološka znanost v javnem interesu, 13 (3): 106–131, december 2012.

[3] Thomas Wood in Ethan Porter. Učinkoviti povratni ognji: Neprestano dejansko držanje množičnih stališč. SSRN Scholarly Paper ID 2819073, Social Science Research Network, Rochester, NY, avgust 2016.

[4] Rahwan, Iyad (2016) Družba v zanki: Programiranje algoritmične družbene pogodbe. Srednja

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios in Cedric Langbort. 2014. algoritmi za revidiranje: raziskovalne metode za odkrivanje diskriminacije na internetnih platformah. Podatki in diskriminacija: Pretvarjanje kritičnih pomislekov v produktivno poizvedbo, Letno srečanje Mednarodnega združenja za komunikacije, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Algoritmična preglednost v medijih. Digitalno novinarstvo, 1–20.

[7] Thaler, R. H., Sunstein, C. R. (2003). Libertarski paternalizem. Ameriški ekonomski pregled, 93 (2), 175–179.