Najboljše raziskave poglobljenega učenja leta 2019 doslej

Pravkar smo končali s prvim četrtim letom 2019 in raziskovalna stran tehnologije globokega učenja napreduje v zelo dobrem posnetku. Redno spremljam prizadevanja raziskovalcev AI, da bi dosegli napotke o tem, kje je tehnologija usmerjena. Ta predvidevanje mi omogoča, da bolje optimiziram svoj čas, da se prepričam, da vem, česa ne vem. Kot rezultat tega skušam porabiti vsaj en raziskovalni prispevek na teden na polju potencialnih sto ali morda na tisoče prispevkov.

V tem članku vam bom pomagal prihraniti nekaj časa, če bom sedanji obseg raziskovalnih prizadevanj, objavljenih doslej v letu 2019, ohranil na obvladljiv ožji seznam, ki sledi. Filtriral sem svoje odločitve, da sem vključil papirje, ki imajo tudi povezan repo GitHub. Uživajte!

Učenje hitrega predstavitve grafov z PyTorch Geometric

Ta raziskava predstavlja PyTorch Geometric, knjižnico za poglobljeno učenje o nepravilno strukturiranih vhodnih podatkih, kot so grafi, točkovni oblaki in razdelilniki, zgrajeni na PyTorchu. Poleg splošnih struktur grafičnih podatkov in metod obdelave vsebuje številne nedavno objavljene metode z področij relacijskega učenja in 3D obdelave podatkov. PyTorch Geometric dosega visoko pretok podatkov z izkoriščanjem redkega pospeška GPU-ja, z zagotavljanjem namenskih jeder CUDA in z uvedbo učinkovitega mini paketa za upravljanje vhodnih primerov različnih velikosti. Koda je na voljo na GitHubu.

[Sorodni članek: Najvplivnejši znanstveni raziskovalni članki za leto 2018]

Točkovanje maske R-CNN

Pri nalogi segmentacije primerkov se zaupnost klasifikacije primerkov uporablja kot ocena kakovosti maske v večini okvirov segmentacije. Ta članek preučuje to težavo in predlaga Mask Scoring R-CNN, ki vsebuje mrežni blok za učenje kakovosti predvidenih mask primerkov. Strategija ocenjevanja mas kalibrira neusklajenost med kakovostjo maske in oceno maske ter izboljša učinkovitost segmentacije primerkov s prednostnim postavljanjem natančnejših napovedi maske med oceno COCO AP. Koda je na voljo na GitHubu.

Ustvarjanje slik visoke kakovosti z manj oznakami

Globoki generativni modeli postajajo temelj sodobnega strojnega učenja. Nedavno delo na pogojnih generativnih konkurenčnih omrežjih (GAN) je pokazalo, da je učenje kompleksnih, obsežnih razdelitev naravnih slik na dosegu roke. Medtem ko najnovejši modeli lahko ustvarijo visokozmogljive, raznolike naravne slike z visoko ločljivostjo, se zanašajo na veliko količino označenih podatkov. Ta članek prikazuje, kako lahko od nedavnega dela na področju samokontroliranega učenja nadpovprečno nadgradimo vrhunsko tehnologijo (SOTA) tako pri nenadzorovani sintezi ImageNet kot tudi v pogojnem okolju. Koda je na voljo na GitHubu.

GCNv2: Napoved učinkovite korespondence za SLAM v realnem času

Ta članek predstavlja mrežo GCNv2, ki temelji na učenju, za generiranje ključnih točk in deskriptorjev. GCNv2 je zasnovan na prejšnji metodi, GCN, mreži, usposobljeni za 3D projektivno geometrijo. GCNv2 je zasnovan z binarnim deskriptorjem kot funkcijo ORB, tako da lahko zlahka nadomesti ORB v sistemih, kot je ORB-SLAM. Koda je na voljo na GitHubu.

[Sorodni članek: Globoko učenje za klasifikacijo besedila]

ALiPy: Aktivno učenje v Pythonu

Nadzorovane metode strojnega učenja običajno zahtevajo velik nabor označenih primerov za izobraževanje po modelih. Vendar pa v mnogih resničnih aplikacijah obstajajo številni neoznačeni podatki, vendar so podatki z oznako omejeni; nakup etiket pa je drag. Aktivno učenje (AL) zniža stroške označevanja tako, da iterativno izbere najdragocenejše podatke za poizvedovanje njihovih oznak iz opombe. Ta članek predstavlja Python toobox ALiPy za aktivno učenje. Koda je na voljo na GitHubu.

DeepFashion2: Vsestransko primerjalno merilo za zaznavanje, oceno položaja, segmentacijo in ponovno identifikacijo oblačil

Razumevanje modnih podob so izboljšali merila z bogatimi pripisi, kot je DeepFashion, katere oznake vključujejo oblačilne kategorije, mejnike in parove za potrošnike in komercialne slike. Toda DeepFashion ima zanemarljive težave, kot so posamezen kos oblačila na sliko, redke orientacijske točke (samo 4 ~ 8) in nobenih mask na pikslov, kar prinaša občutno vrzel od resničnih scenarijev. Ta dokument zapolnjuje vrzel s predstavitvijo DeepFashion2 za reševanje teh vprašanj. Je vsestransko merilo štirih nalog, vključno z odkrivanjem oblačil, oceno pozi, segmentacijo in iskanje. Koda je na voljo na GitHubu.

StarCraft Multi-Agent Challenge

V zadnjih nekaj letih je poglobljeno učenje z več agenti postalo zelo aktivno področje raziskav. Posebno zahteven razred problemov na tem področju je delno opazljivo, sodelovalno, večagencijsko učenje, v katerem se morajo ekipe agentov naučiti uskladiti svoje vedenje in se pri tem pogovarjati le na svojih zasebnih opazovanjih. To je privlačno raziskovalno področje, saj so takšni problemi pomembni za veliko število sistemov v resničnem svetu in so tudi bolj dovzetni za vrednotenje kot splošni problemi. Standardizirana okolja, kot sta ALE in MuJoCo, so omogočila, da se RL z enim agentom premakne onkraj domen igrač, kot so mreže mrež. Vendar pa ni primerljivega merila uspešnosti sodelovanja z več posredniki. Zaradi tega večina dokumentov na tem področju uporablja enkratne težave z igračami, zaradi česar je težko izmeriti dejanski napredek. Ta članek predlaga StarCraft Multi-Agent Challenge (SMAC) kot referenčno težavo za zapolnitev te vrzeli. Koda je na voljo na GitHubu.

Opuščanje je poseben primer pravila stohastičnega delta: hitrejše in natančnejše globoko učenje

Večplastne nevronske mreže so pri obdelavi besedila, govora in slike dosegle izjemno uspešnost pri mnogih vrstah referenčnih nalog. Za nelinearno oceno parametrov v hierarhičnih modelih je znano, da so predmet pretiranega opremljanja in napačnih določitev. En pristop k tej oceni in s tem povezanimi težavami (lokalni minimi, kolinearnost, odkrivanje lastnosti itd.) Se imenuje izpad. Pred vsakim posodabljanjem algoritem Dropout odstrani skrite enote v skladu z naključno spremenljivko Bernoulli z verjetnostjo p in ustvari naključne "šoke" v omrežju, ki se povprečno nadgradijo nad posodobitvami. Ta članek kaže, da je Dropout poseben primer splošnejšega modela, ki je bil prvotno objavljen leta 1990, imenovan Stohastično pravilo Delta, ali SDR. Koda je na voljo na GitHubu.

Lingvo: modularni in prilagodljiv okvir za modeliranje zaporedja v zaporedje

Lingvo je okvir Tensorflow, ki ponuja celovito rešitev za skupne raziskave globokega učenja s posebnim poudarkom na modelih zaporedja zaporedja. Modeli Lingvo so sestavljeni iz modularnih gradnikov, ki so prožni in lahko razširljivi, konfiguracije eksperimentov pa so centralizirane in zelo prilagodljive. Razdeljeno usposabljanje in kvantizirano sklepanje sta podprta neposredno v okviru in vsebuje obstoječe izvedbe velikega števila pripomočkov, pomožnih funkcij in najnovejših raziskovalnih idej. Lingvo v zadnjih dveh letih v sodelovanju več deset raziskav uporablja v več kot 20 prispevkih. Ta dokument opisuje osnovno zasnovo Lingva in služi kot uvod v različne dele ogrodja, hkrati pa ponuja primere naprednih funkcij, ki prikazujejo zmogljivosti okvira. Koda je na voljo na GitHubu.

Prilagodljive metode gradienta z dinamično povezano stopnjo učenja

Predlagane so bile metode za prilagodljivo optimizacijo, kot so AdaGrad, RMSProp in Adam, da bi dosegli hiter postopek usposabljanja z elementarnim merilnim merilom za stopnjo učenja. Čeprav prevladujejo, opažamo, da posplošujejo slabo v primerjavi s SGD ali se celo ne zbližajo zaradi nestabilnih in ekstremnih stopenj učenja. Ta članek prikazuje, da lahko izjemne stopnje učenja vodijo do slabih rezultatov. Na voljo sta novi različici Adama in AMSGrada, imenovani AdaBound oziroma AMSBound, ki uporabljata dinamične meje učnih stopenj za doseganje postopnega in gladkega prehoda s prilagodljivih metod na SGD in dajeta teoretični dokaz konvergence. Nadaljnji poskusi so bili izvedeni na različnih priljubljenih nalogah in modelih. Rezultati eksperimentalnih raziskav kažejo, da lahko nove variante odpravijo splošni razkorak med prilagodljivimi metodami in SGD ter ohranijo večjo hitrost učenja na začetku usposabljanja. Koda je na voljo na GitHubu.

Opomba urednika: Želite izvedeti več o osebnem poglobljenem učenju? Udeležite se ODSC East 2019 letos 30. aprila in 3. maja v Bostonu in se posvetujte neposredno s strokovnjaki!

Na spletnem mestu OpenDataScience.com preberite več podatkov o znanstvenih podatkih, vključno z vadnicami in vodniki od začetnikov do naprednih ravni! Naročite se na naše tedensko glasilo tukaj in prejemajte najnovejše novice vsak četrtek.