Od novinca do raziskovalca; Dve leti globokega učenja s Fast.ai

Po vrnitvi z očetovskega dopusta letos marca sem navdušen nad dejstvom, da sem se pridružil podjetju NVidia, kjer sem ves čas izvajal aplikativne raziskave poglobljenega učenja in delal na presečišču med Tabularnimi (včasih imenovanimi strukturiranimi) podatki in rapids.ai. To potovanje ne bi bilo mogoče brez hitrega neverjetnega tečaja, knjižnice in skupnosti.

Tako kot Sylvain Gugger, še en alum iz tečaja, ki trenutno deluje kot znanstvenik na področju fastajev in katerega objava na blogu je to navdihnila, je tudi fastai spremenil moje življenje in globoko sem hvaležen Jeremyju in Rachel za njuno vizijo bolj dostopnega globokega učenje izobraževanja za vse. V duhu njegovega dela sem želel deliti svoje potovanje in stvari, ki so mi pomagale na poti v upanju, da bodo pomagale in navdihnile druge, ki se podajajo na to pot.

Potovanje

Za razliko od mnogih študentov fastaja prihajam iz strojnega učenja. Eden bolj osredotočenih na človeško računalniško interakcijo in predhodno poglobljeno učenje, tako da je delo, ki sem ga opravil v okviru diplomske naloge, študent fastai lahko izvedel v nekaj urah, vendar sta osnova matematike / programiranja in sposobnost branja prispevkov vsekakor pomagala. Kljub temu pa se redko sklicujem na tisti čas in se popolnoma strinjam z Jeremyjevo oceno, da doktoranda ni treba opravljati poglobljenega učenja.

Po univerzi sem delal na spletnem mestu za zmenke veliko rib, pisal algoritme ujemanja, sisteme za odkrivanje goljufij in na koncu vodil raziskovalno skupino. Odšel sem po leto, ko je prodala skupini Match, in se znašel na razpotju, preučil se je možnosti podatkovnega inženiringa in se nisem pravzaprav rad vrnil k podatkovni znanosti.

Iste pomladi je izšel tečaj Fastai v1, in ko sem skozi svojo pot in spoznal ljudi na forumu, sem se vedno bolj prikradel. Aplikativni razvoj od zgoraj navzdol je učni pristop, ki mi dobro uspe in hitro sem se zaljubil v Jeremyjev učni slog. Ko sem ugotovil, da obstaja drugi del, sem se takoj prijavil in dobesedno poskočil od veselja, ko sem ugotovil, da sem se prijavil.

Ker sem se ukvarjal s priporočevalnimi sistemi, sem bil zelo zainteresiran za to komponento predmeta in začel sem raziskovati to področje vedno bolj. V tem procesu sem prevzel vlogo na Realtor.com, ki je delal na priporočilih in projektih razvrstitve v iskanju, in tam sem resnično začel gledati potencial tega, kar me učijo. Globoko učenje sistemov za priporočila je postalo moja strast in najprej sem se lotila glave, prebrala vsak prispevek na to temo in zaužila vse, kar sem lahko našla na Youtube. Več bom govoril o navadah, ki sem jih oblikoval v zadnjih dveh letih, ki so vodile do raziskovalne vloge v naslednjem razdelku, vendar je bil tokrat zame zelo formativen v smislu razvijanja nabora spretnosti in znanja, ki so privedle do mojega trenutnega vloga pri NVidia.

Na poti sem vzel vsako ponudbo fastajev. Trenutno sem na tretji iteraciji in vsak razred se naučim nekaj novega. Če še niste gledali starih tečajev, vam priporočam, da se vrnete nazaj, in isto velja za tečaj strojnega učenja, ki me je naučil, kaj vem o naključnih modelih gozdov. Kakovost izobraževanja, ki ga nudi fastai, je tako visoka, da sem svojo strukturo okoli strukturiral pri Realtorju, pri čemer sem pouk uporabljal kot točke za odstranjevanje točk, kar se je izkazalo za izjemno uspešno.

Koraki na poti

Medtem ko je moje potovanje zame edinstveno, želim ponuditi nekaj pomoči tistim, ki želijo doseči enake sanje o tem, da bi postali raziskovalec globokega učenja ali boljši praktik.

Nasveti za učinkovito dokončanje fastai na forumu, in toplo priporočam, da jih poiščete in jim sledite, če jih še niste. Če presežete razred, je treba vložiti dodatne napore, toda po mojem mnenju se začne čarovnija resnično dogajati. Številne navade so mi resnično pomagale postati boljši raziskovalec in boljši razvijalec. Preprosti so, vendar učinkoviti. Skozi njih je lahko pihati tako, kot da lahko premikate jezičke po prenosnikih, če pa jih lahko implementirate, zagotavljam, da bodo imeli vpliv.

  1. Bodite udobni s papirji. Tedensko preverite Arxiv, vsak večer preberite prispevek. Včasih sem uporabljal zdrav arxiv zdrav, a na žalost se zdi, da ni več vzdrževan. Še vedno iščem rešitev, tako da, če imate kaj, me obvestite. Priporočam vam, da izberete določeno raziskovalno področje, kjer lahko preberete večino prispevkov. Poiščite temo, ki vas zanima, kot je priporočilo ali prenos slogov in ostanite na tem majhnem področju. Navada, da redno berem papirje, je zdaj moja super moč. Če bi oblikovali navado, bi ga lahko imeli tudi vi.
  2. Pretvorite videoposnetke Fastai v zvok samo tako, da jih poslušate kot „podcast“ na poti. Zdi se mi, da bi dvakrat ali trikrat gledal videoposnetke, ni izvedljivo, še posebej zdaj, ko imam dva mlada fanta, toda gostota gradiva to zahteva. Enkrat si ga oglejte in poslušajte znova in znova na poti, hodite ali kamor koli. Poslušal sem že več desetkrat in še vedno izbiram nove koncepte in ideje.
  3. Končno do konca izvedite nekaj, kar je drugačno od prenosnikov. To je bilo zame ključno za sprostitev potenciala fastai-ja. Obnovil sem označevalni samodejni dajalnik od rešitve do tekmovanja za varne voznike porto seguro. To se je izkazalo za izhodišče za celo vrsto raziskav poglobljenega učenja tabelarnih podatkov in privedlo do moje trenutne vloge. Izberite nekaj drugačnega od tistega, kar večina izvaja, in ga dobro izvedite.
  4. Bodite aktivni na forumih in sodelujte v skupnosti. To je eden izmed najbolj spregledanih vidikov tečaja, ki mi ponuja cel kup ljudi, ki so navdušeni nad globokim učenjem, kot ste vi. Zame je bil velik katalizator idej, znanja in zanimanja.
  5. Poiščite druge tečaje, s katerimi si boste razširili obzorja. Toplo priporočam Stanfordov tečaj NLP CS224n, ki ga je poučeval Chris Manning, CS231n, ki ga je poučeval Andrej Karpathy, tečaj Gene Kogana o poglobljenem učenju, ki se uporablja za umetnost The Neural Aesthetic, in PyData, ki redno vključuje velike poglobljene učne pogovore.

Fastai mi je toliko dal in to še vedno počnem, in navdušen sem nad tem, da se lahko premaknem v položaj, ko lahko končno dam nekaj nazaj. Če bi mi na začetku moje poti povedali, ko sem na youtubeu videl prvi video, da me bo brezplačni spletni MOOC pripeljal do raziskovalne vloge v enem izmed najboljših tehnoloških podjetij na svetu, ne bi bil prepričan, da bi ga imel verjel sem ti, toda tu sem. Ne dvomim, da je to skoraj v celoti posledica fast.ai.