Hei og velkommen til Skifters podcast. I dag skal vi snakke om maskinlæring og GPT-3. Ja, det høres litt kryptisk ut, men etter denne episoden så har du forhåpentligvis lært noe mer om noe som blir kvalifisert som ganske revolusjonerende. Med oss har vi Amund Tveit, en av landets fremste eksperter på data science. For tiden er han principal data and applied scientist hos Microsoft, men har tidligere jobbet for Sedge, Google og YouTube, blant andre ting.
I tillegg har han også vært med å starte en rekke selskaper, og han har også investert i en rekke startups. Og jeg glemte å nevne at han også har en doktorgrad i informatikk og har fem patenter på søk- og annonseteknologi. Velkommen, Amund. Ja, takk. Det er jo litt av en imponerende bakgrunn du har, så jeg gruer meg litt til dette intervjuet her.
Men i dag skal vi snakke litt om maskinlæring og nærmest gpt3. Hva er dette for noe? Hva er gpt3? Gpt3 er det man kan kalle en språkmodell. Den modellerer naturlig språk med maskinlæring. Språkmodellet er noe som har vært i mange år. Man har jo sånn som på...
I 90-tallet brukte man noe som heter Hidden Mark of Models for å modellere språk, for eksempel det å skjønne menneskelig tale. Det fungerte ikke spesielt godt på den tiden, men det var det man hadde. Så har det kommet en del andre metoder etter det. Man har sånn som GPT-3 er basert på en oral nettverk, og man har en del
andre språkmodeller basert på neural nettverk som kom tidligere, sånn som rekurente neural nettverk, der du har en du kan se for deg på en måte at du har en tekst, det er jo bare en sekvens av ord eller av tegn og da prøver man å modellere det på en måte som en lang strøm da, og så prøver man å skjønne den strømmen og kanskje bruke den til for eksempel maskinoversettelse eller
Eller andre formål. For eksempel klassifisering. Så grepet det. Jeg tror vi må et par steg tilbake. Hva er språkmodellering? Veldig enkelt forklart. Språkmodellen er at en datamaskin prøver å gi en viss forståelse eller representasjon av språk. Man har jo den gamle uttrykket at man sier at et språk
Et bilde tilsvarer tusen ord, men i praksis er det å modellere språk, som er noe som mennesker har laget, kanskje vanskeligere enn å modellere bilder, sånn at
Man skulle tro at det var motsatt, men språkmodell er veldig kompliserte å lage, og de krever mye beregningskraft. Så en praktisk språkmodell er jo hvis du bruker en eller annen talegjenkjenning, du har kanskje på mobilen din eller på PC-en din, så har du jo forskjellige, om det er Cortana eller Siri eller hva man nå har, så er det jo en språkmodell som ligger på en måte bak den, og
En er å skjønne naturlig tale og gjøre om det til noe som datamaskiner kan skjønne i tekst, og så er det på en måte å skjønne teksten, hva det egentlig er du ute etter.
Så da har du kanskje to språkmodeller. En språkmodell, hvis jeg forstår det riktig, er at en ting er at mennesket har et språk, men så må jo datamaskinen kopiere det språket og forstå at dette er et språk. Og så handler det om det neste steget, å skjønne meningen med språket, eller med for eksempel ordene i språket. Forstår jeg det riktig da?
Ja, det stemmer. Og det er ganske mange applikasjonsområder hvis du først får til å modellere språk. Sånn at, ja... For da kan du ikke snakke med en datamaskin, og en datamaskin kan da kanskje utføre ordre for deg. Men en ting som er viktig er at selv om maskinen til synlatene skjønner hva du sier, så gjør den egentlig ikke det. Den klarer å på en måte...
transformere det du sier til en handling. Så den har ikke på en måte en dypere forståelse, hvis jeg er mer sånn filosofisk. Det er en mer sånn mekanisk forståelse på en måte. Ja.
Ok, for hvis dette ordet blir sagt, så kan det føre til disse handlingene. Hvis en menneske sier start støvsugeren, så kjenner man en støvsuger. Støvsuger og ordet start for en støvsuger betyr at man skal initiere prosessen med å starte støvsugeren. For eksempel da. Uten at man egentlig skjønner hva man egentlig, maskinen skjønner ikke hva man gjør, men den bare følger en rekke kommandos.
kommandoer da. Stemmer. Skjønner. Ok, så nå vi har skjønt da hva språkmodellering er, så er spørsmålet da, hva er GPT-3M?
Ja, så som GPT-3 er en familie av språkmodeller som er såkalt generative, sånn at de kan generere språk. Og man har jo også andre generative AI-modeller, de kan generere bilder, de kan generere video, de kan generere lyd, som er på en måte syntetisk. For eksempel hvis du snakker med en datamaskin og den snakker tilbake, så vil den generere en syntetisk lyd tilbake, en syntetisk tale. Og
Så GPT-3 kan generere tekst, men kan også på en måte brukes til språkmodeller. Du kan også modellere andre typer språk. Du kan ha et lite programmeringsspråk, og så kan du modellere det også. Så det er en sekvens av noe som ligner på et språk, om det er et naturlig språk eller et programmeringsspråk for eksempel.
Så det er det som veldig mange maskiner går ut med, er jo på en måte mer om det på å organisere ting, for eksempel klassifisere, du skal gruppere, du skal kanskje beskrive noe med for eksempel et regelsett, mens GPT-3 prøver å generere. Det er noen som kaller det kreativ AI også,
Jeg holder meg til generativ AI personlig. Kan du forklare med et eksempel hva du vil si å generere? Ja, sånn som de eksemplene. GPT-3 er jo et begrenset API fra OpenAI som kjører på Azure i dag, så jeg har ikke hatt tilgang til det selv enda. Men de eksemplene som er brukt, så er det...
For eksempel et eksempel der du har korte beskrivelser av SQL queries, altså database queries, og så gir du noen få eksempler på å finne ut hvem som er ansatt i divisjonen D og D, for eksempel. Og så har du tilsvarende SQL query, og så har du noen få eksempler av det, og så gir du en nytt spørsmål-kurs.
og finne ut hvor mange ansatte det er der, eller et eller annet, og så generere en netquery. Sånn at da har den, basert på noen få eksempler, kanskje lært seg å skrive SQL og konvertere fra naturlig språk til SQL. Ok, så hvis jeg forstår det riktig, så trenger man ikke å hardkode inn den kommandoen, men det er en kommando som den selv klarer å generere for å få tak i den informasjonen som du er på utsikt etter?
Ja, det som skiller på en måte GPT-3 fra veldig mange andre ting er at, sånn som man sier for mennesker, at du må bruke 10 000 timer for å bli god i noe. Og det er nesten sånn med maskinlæring ofte også. Men du kan jo kanskje kjøre mange timer i parallell. Men poenget mitt er at ofte så må du ha veldig mye data for å få til å trene en maskinlæringsalgoritme. Og det er ikke sikkert det er så lett å skaffe mye data, for du må kanskje ha data som er på en måte...
kategorisert og ja, så det er ikke alltid så enkelt. Men det GPT-3 er litt spesiell på er at den trenger mindre data for å på en måte gi brukbare resultater. Sånn at det ene er at den har en språkmodell, men den er jo trent på veldig mye data. For eksempel er den trent på et
En liten webcrawl. Det er trend på Wikipedia og sånne ting, sånn at du kan prøve å spørre noen ting og få svar. Og det vil jo på en måte varierende grad virke. Men det du kan gjøre for å gjøre den på en måte bedre er å gi deg noen eksempler, sånn som det er tilfelle med at du har SQL queries som er koblet til en tekst, for eksempel, som jeg nevnte tidligere. Sånn at den trenger bare noen få eksempler på å lære.
Og du kan også bruke mye tid å på en måte fintune, men det er jo relativt kostbar modell å fintune, sånn at det er veldig fint hvis du slipper å gjøre det. Så hovedverdien her er at den er raskere å lære opp? Ja, raskere å lære opp, men også det at den er på en måte bedre generativt sett, sånn som det har vært en del eksempler hvor den har på en måte generert veldig god tekst da.
Så, ja. Nettopp så den genererer bedre språk tilbake igjen. Ja, du får på en måte bedre forslag. Så...
Og da hvis du stiller for eksempel ti veldig smarte spørsmål, så betyr det at den egentlig kan, bare sånn teoretisk, så kan den kanskje gjennom allerede, basert på de ti nøkkelspørsmål, så kan den for eksempel ved hjelp av logikk eller andre ting, da dedusere seg frem til kanskje hundre svar, eller hundre nye spørsmål, som den selv kan besvare, og så kan den generere det selv og
egentlig gjør seg selv smartere. Er jeg inn på noe der? Nei, ikke helt. Men det er mer at du kan gi en på en måte ti spørsmål og svar, og så vil en på en måte, når du stiller neste spørsmål som ligner på de spørsmålene av de blant de ti, så vil en være relativt god til å svare på det. Men det er ikke sånn at den genererer spørsmålet selv. Det gjør den ikke. Så den er ikke smart? Nei, den er ikke smart på den måten, men samtidig kan det jo være en viss verdi hvis du har noen
ok, du har noe som du på en måte kanskje jobber hyppig med, og så kan du gi noen eksempler. Og så er den ganske kvikk på å lære, da.
Og det er jo mange som har Google Home eller Alexa hjemme. Og det er en typisk praktisk bruk av dette, er det ikke? At man stiller et spørsmål til en maskin som da sjekker opp og så gir den et svar tilbake. Og så handler det da om hvor raskt den maskinen kan bli god på å svare deg tilbake. Det primært handler om, og ikke minst kvaliteten i svarene, slik jeg forstår. Ja.
Jeg tror, sånn som de casene du nevner der med hjemmeagenter, jeg tror det er et litt annet scenario, fordi dette vil kanskje være mer enn, la oss si at du sitter og skal skrive en artikkel om GPT-3, så vil du kanskje spørre GPT-3 om GPT-3, for eksempel. Eller sånn at...
Jeg vil sammenhenge litt med sånn type... Nå vet jeg ikke i detalj hvordan DJ jobber, men la oss si Kygo eller noen. De jobber jo noe med analoge instrumenter og piano og sånne ting, men de jobber jo også mye med samples, og kanskje de har noen som kan generere lyder og gjøre transformasjoner. Så det jeg ser for meg er at dette er litt sånn for tekst. At du kan generere og på en måte leke litt med det og få litt feedback, sånn sett. Så...
For eksempel hvis du har det klassiske writers-blokk, så kan det kanskje være fint å begynne med å bare notere litt, og så får du noe tilbake på en måte du får, så det kan være litt sånn kreativt verktøy. Ja, ikke sant, nettopp. Så det kan være en støtte i kreative prosesser for mennesker? Jeg tror det, altså.
Det har jo vært noen eksempler med den Guardian-artikkel, den brittiske Guardian, der de brukte GPT-3 til å på en måte generere artikkel. Det var jo den litt dristige vinklinga. Men det de gjorde i praksis var at de gjorde det nesten som å bruke en søkemotor. Du søker en del ting, og du får litt informasjon, og så setter du sammen til slutt. Det var litt sånn de brukte GPT-3, det har vistet seg.
Så det gjorde jeg på en måte. Fikk en del innspill, og så sydde jeg sammen og kanskje skrev om litt. Så det blir veldig DJ-aktig, tenker jeg, for tekst. Hei, er du en CEO eller CTO i et vekstselskap og trenger flere utviklere? Da vet du at det er ganske krevende å finne dyktige utviklere i Norge. Men håpet er heldigvis ikke ute. Cefalo er et norsk outsourcing-selskap som har klart å bli en av de aller beste arbeidsgiverne for seniorutviklere i Bangladesh.
Cefalo's spesialitet er å rekruttere og bygge langsiktig utviklingsteam sammen med den norske kunden. Og det å ha faste utviklere gjennom Cefalo skal i praksis oppleves som å ha egen ansatte. Så er du interessert i å høre mer om å ha eksterne utviklere, så vil Cefalo gjerne ta en veldig hyggelig prat med deg. Så sjekk ut cefalo.no, altså C-E-F-A-L-O.no.
Du har gjort en del sånn D-der av teknologiselskaper, og for å vurdere teknologi, la oss si man bygger noe på toppen av dette her da, GPT-3. Har man da unik teknologi som har en verdi, eller er det sånn at nei, det er jo bygget på det, så det kan jo alle gjøre, derfor har det ikke noe verdi?
Det jeg tenker er at teknologi, selv om jeg er teknolog selv, så føler jeg kanskje at teknologi er jo liksom ikke... Det er viktig å kunne execution og kjøre fremover. Sånn at hvis du har veldig beskyttbare ting og ting du kan på en måte hemmeligholde, så kan du kanskje få det. Men det er jo execution det dreier seg om. Execution og cashflow i start-up-planen i hvert fall. Og salg og markedsføring og
Hvis du har det på plass, så er teknologien litt underordnet. Det handler om å bygge business. Ja, det gjør det altså. Ikke teknologien. Jeg kjenner mange teknologer som har bygget veldig kule ting, og så tror de at dette skal...
Det er utomagisk å bli en business, fordi det er så fantastisk teknologi. Jeg har selv prøvd det. Hvis vi beveger oss et tak opp fra dyplæring til AI, som dette er en underkategori av, er det noen spennende trender du ser innenfor AI om dagen, som er verdt å følge med på?
Ja, det er jo det med generativ AI, at AI har vært mer sånn smart organisator, som kan å gruppere ting og klassifisere og sånne ting. Men her blir det kanskje mer på den kreative siden, og bli en kreativ sparringpartner. Og det er jo en veldig spennende trend, at du kan gjøre det. Og det er jo på en måte også en bredere innen AI.
at man kan gjøre det. Det er jo noen sånne optimistiske syn på AI og litt sånn pessimistiske syn på AI og fremtiden. Hvor er det du befinner deg i? Jeg er jo et sånt relativt optimist generelt sett, men det er klart man skal jo være litt forsiktig med ting, men jeg tror det som blir viktig er jo det med kildesporing blir enda viktigere enn kanskje det har vært før da.
Hva legger du i det? Hva legger du i kjipet? Ja, jeg tenker på hvis du ser et eller annet på nettet, og så vet du ikke hvor det kommer fra, eller du kan ikke på en måte koble det tilbake til hvem har laget det, eller hvor det er laget, så skal man på en måte kanskje ta ting med klippesalt. Du tenker på sånne type fake news og den type ting? Ja, eller generelt på en måte vil jeg si. Hvis du ikke...
styrke på en måte jeg kan si hvor ting er laget eller hvor det er publisert opprinnelig, så skal du på en måte kanskje være litt skeptisk, tenker jeg da. Ok, og da snakker du også om AI da? Ja, eller det er kanskje mer sånn generell livsvisdom egentlig, at du ser på nettet. Men klart det kan kanskje bli mer av sånt, vil jeg tro, men samtidig så tror jeg også at det blir på en måte mye på en kreativ side, og det å
du kanskje tilgjengeliggjør det å skrive litt for litt flere sånn som det kan jo være at noen hvis du ser på gode forfattere så kan det være at de har veldig gode språklig sett
Og så er Tille god på å lage en historie. Men la oss si at du er god på å lage en historie, men du er ikke så god språklig. Kanskje dette kan være en måte å bli en forfatter eller blogger eller hva det måtte være. Så jeg tror det er masse muligheter der som en kreativ enabler. Snakker du nå om GPT-3 eller snakker du om AI generelt? Ja, da var jeg kanskje litt tilbake på GPT-3, men det kan jo være også generelt på en måte det å
hvis du ikke er kunstner, du kan få litt hjelp til å uttrykke deg kreativt. Det er jo mange som peker på AI som, hvis du ser på den pessimistiske siden, at det tar over jobber, og det er en vei, vi kommer ut til å stå uten jobb i fremtiden, en annen vei er jo at det er litt sånn Skynet-
fra Terminator, at AN får en egen bevissthet og vil utrytte mennesker, fordi mennesker er jo mindre smarte. Tror du på de scenariene? Nei, egentlig ikke. Hvis du tenker på GPT-3 tilbake til den, det er verdens største maskinleggingsmodell med 175 milliarder parametre. Det må kjøre på mange, mange GPU-er i clouden for å få til å
triller rundt, men likevel så er den jo til en viss grad den har jo ikke noe filosofisk oppfatning av verden på en måte, den har jo den kan bare regne, det er egentlig det den gjør den er veldig god på å konvertere tekst til en representasjon som den kan regne på men likevel, den skjønner jo ikke hva den egentlig driver med, sånn sett så
Og det er den mest avanserte AI-modellen man har, sånn at man er jo fryktelig langt unna den type bevissthet og sånt, om man noen gang kommer dit, det vet jeg ikke. Nei, så du tror faktisk at man kanskje ikke kommer dit engang? Nei, sånn som man er jo fryktelig langt unna noe, så jeg har ikke på en måte...
Men igjen da, man vet jo aldri hva som skjer, men jeg er ikke noen sånn veldig pessimist på det. Og så vil jeg tekke frem et eksempel, sånn som sjakk. Nå har jo Magnus Carlsen hatt nykveld på børs med sitt nye firma nylig, og sjakk er jo et interessant eksempel, for der har jo
I det sjakkmesterskapet han har vært, så har datamaskinene og AI-modellene gjort sjakk mer kreativ. Jeg husker ikke hvilke trekk det var, jeg er ikke noen sjakkekspert på noe som helst måte, men noe man har prøvd noen har fått fra et sjakkprogram, som man bruker i en kreativ måte å spille på.
Og sjakk ble jo løst, eller gåsøya løst på 90-tallet, nesten 25 år siden, så ble jo Kasparov slått av en datamaskin. Og likevel er jo sjakk på en måte kanskje sterkere enn noen gang, og kanskje nå er det jo akselerert av covid også, men så der er det egentlig ok, datamaskinen vant mot Kasparov, men likevel er sjakk
kanskje mer fartig enn noen gang da. Men la oss si det ikke blir tournamenter og judgment day, men det vi ser konkrete effekten av i dag er jo at det går utover...
arbeidsplasser, altså at AI automatiserer bort arbeidsplasser, det kan du vel ikke være uenig i? Nei, det er på en måte, hvis man ser historisk på det, så teknologi har jo alltid gjort endring av arbeidslivet, sånn som industrielle revolusjon, og samtidig så har det jo vært en velstandsutvikling også, sånn som så
Så det er vel bare at det blir endring i jobba da. Det er vanskelig å si hvordan det blir, men jeg tror det er masse muligheter. Er det halvfullt eller halvtomt glass, tenker jeg. Jeg tror det er halvfullt.
Så jeg tror mulighetsrommet er enormt stort. Ja, for det spørsmålet er jo, man trekker paralleller til tidligere teknologiske skifter, men spørsmålet er jo om dette med AI og data, om det representerer noe helt vesentlig andreledes enn det vi har sett tidligere.
Jeg personlig, uten å ha greie på dette her, føler jo det. Det representerer noe helt annerledes. Det representerer noe som kan skape i seg selv. Noe som kan skape ting. Da er spørsmålet hva mennesket skal gjøre hvis man har i prinsippet laget et nytt menneske. Så sier du at man er langt unna
man er langt unna en sånn bevissthet, og så videre. Men spørsmålet mitt er jo, representerer ikke data og maskinlæring og AI noe nytt i en sånn teknologisk utvikling? Ja, jeg vil jo si at det på en måte er litt sånn empowerment også, at man kan
hvis du på en måte gjør alle, la oss si det med tekst da, hvis alle kan på en måte bli nesten DJ'er med tekst, så vil du kanskje øke nivået totalt sett, det blir kanskje mer god litteratur. Jeg vet ikke hva ringvirkningen blir da, men jeg ser jo for meg at det blir, så du ser på en måte sånn tidlige tider, hvis du, når man var i hula i senalderen, så jobbet man på en måte for å skaffe mat, og det var det man klarte å gjøre, på en måte at det var liksom så vidt, og så har man
etter hvert fått det bedre, så kan det være at det blir, jeg tror mye kan bli bedre også. Så det blir kanskje, det jeg har litt tro på selv, er den kreative biten, at det blir kanskje mer viktig igjen, med mer enn mer sånn
andre type skill. Så jeg tror jo, jeg er jo realist selv, men jeg tror jo på en måte kulturelle fag, for eksempel, og kunst og musikk. Jeg tror på en måte at den type ting blir kanskje enda viktig, for det blir for du kan jobbe mer kreativt. Ja. Det er jo det med min personlige mening rundt det. Jeg tror kanskje de tingene er litt så undervurdert. Ja, altså du, jeg så en diskusjon mellom Jack Ma i Alibaba og
Elon Musk og han Jack Ma hadde jo det perspektivet som du har rundt kreativitet og menneskelighet blir stadig viktigere, mens Elon Musk er jo ganske pessimistisk med tanke på fremtiden. Det vil si han er veldig han frykter at det verste kan skje. Han sier ikke at det kommer til å skje sånn, men han frykter at det verste kan skje. Og han er vel en av de som står bak dette Open AI, hvis jeg ikke tar helt feil. Ja, han i hvert fall var i starten så var han jo på en måte han var med å
tok til gang. Hvordan det ledes nå, det vet jeg ikke. De holdt jo tilbake GPT-2 en periode, for de mente at den var skadelig, men så åpnet de GPT-3 for at de ombestemte seg. De vurderte jo på en måte først at det ikke var bra, og så vurderte de at det var bra når de så bruken og sånt. Så GPT-2 er åpent tilgjengelig, den kan du jo kjøre på din egen
Eller det kan du jo starte i clouden hvis du vil det. Og GPT er også en mye mindre modell. Ja, og nettopp den diskusjonen mellom Jack Ma og han Ilon Musk, det presenserer jo viktigheten av etikk. Er du enig i det? Ja, absolutt. Etikk og jeg tror også filosofi. Jeg tror kanskje en del av de klassiske fagene vil komme litt tilbake i sånn sett. Ja.
Definitivt. Hvis man vil lære litt mer om dette her, og prøve å forstå hvordan man kan applicere det til sin jobb, eller ikke minst hvilken betydning det vil ha for den jobben man driver med i dag, så kan man jo... En ting er å se på bloggen din, som heter amundtveit.com
Ja, og så er det... Ja, unnskyld? Ja, nå er ikke den så veldig oppdatert, men jeg må kanskje gjøre det siden du har nevnt den nå. Men det er jo masse... Det har jo på en måte aldri vært en bedre tid å lære. Det er jo så mange læringsressurser på nett. Du kan gå på... Søk på YouTube etter GPT-3 får du sikkert masse treff der. Du kan gå på LinkedIn Learning, så har du masse kurs i maskinlæring. Ja, det er masse...
masse muligheter. På GitHub så har du masse kodeeksempler hvis du har lyst til å teste ting. Er det noen ting du anbefaler som du bruker og sjekker jævnlig? Jeg er jo ganske glad i Twitter selv. Jeg følger jo mange som jobber i maskinleggingsfeltet på Twitter. Så jeg lærer jo mye av det. Det publiseres jo mye informasjon om nye artikler og sånne ting. Du har jo også...
ARCSIV, hvis du vil se på vitenskapelige artikler, så er det ARCSIV.org, som er en arkiv av computer science-artikler, mye maskinlæring. Men jeg tror på en måte hvis du er interessert i å følge virkelig med, så
Så Twitter er en fin kilde, og det kan du følge folk direkte, og kanskje også spørre hvis du har spørsmål. Og hvis man skal begynne på Twitter, så er det kanskje en god idé å begynne med din profil på Twitter, for så ser man hvilke du følger. Ja, du kan gjerne gjøre det. Nå tyter jeg ikke så ofte, men du kan jo søke på, hvis det er Gep3 du lurer på, så finner du sikkert en god del navn der også.
Amen, Tveit. Vi må avrunde. Tusen hjertelig takk for at du kunne ta deg tid til å forklare om GPT-3 og litt om maskinlæring. Og så får du lykke til videre med den jobben du gjør, og så håper jeg vi snakkes igjen i fremtiden.
Takk for at jeg fikk være med. Ha det.
Hei, er du en CEO eller CTO i et vekstselskap og trenger flere utviklere? Da vet du at det er ganske krevende å finne dyktige utviklere i Norge. Men håpet er heldigvis ikke ute. Cefalo er et norsk outsourcing-selskap som har klart å bli en av de aller beste arbeidsgiverne for seniorutviklere i Bangladesh. Cefalos spesialitet er å rekruttere og bygge langsiktig utviklingsteam sammen med den norske kunden.
og det å ha faste utviklere gjennom Cefalo skal i praksis oppleves som å ha egen ansatte. Så er du interessert i å høre mer om å ha eksterne utviklere, så vil Cefalo gjerne ta en veldig hyggelig prat med deg, så sjekk ut cefalo.no, altså C-E-F-A-L-O.no.