11/18/2020

AI, maskinlæring og GPT3

I denne episoden av Shifter-podcasten snakker vi med Amund Tveit, en ekspert på data science, om maskinlæring og GPT-3. GPT-3 er en språkmodell som bruker maskinlæring for å modellere naturlig språk. Den kan generere tekst, men kan også brukes til å modellere andre typer språk, som programmeringsspråk. Tveit forklarer at GPT-3 kan være et nyttig verktøy for å generere idéer og tekst, og kan være en kreativ sparringspartner for forfattere og andre kreative personer. Han mener at AI og data representerer en ny æra i teknologisk utvikling, og at det kan ha både positive og negative effekter på arbeidslivet. Tveit er optimistisk om fremtiden, og tror at AI kan bidra til å øke kreativiteten og innovasjonen i samfunnet.

00:01

I denne episoden diskuteres maskinlæring og GPT-3, inkludert hvordan språkmodeller fungerer og deres anvendelser.

14:59

Generativ AI gir spennende muligheter som kreativ sparringpartner, men kildesporing er viktig for å unngå desinformasjon.

21:11

AI representerer et betydelig teknologisk skifte som kan styrke kreativitet og menneskelighet i vår samfunnsutvikling.

Hei og velkommen til

Transkript

Hei og velkommen til Skifters podcast. I dag skal vi snakke om maskinlæring og GPT-3. Ja, det høres litt kryptisk ut, men etter denne episoden så har du forhåpentligvis lært noe mer om noe som blir kvalifisert som ganske revolusjonerende. Med oss har vi Amund Tveit, en av landets fremste eksperter på data science. For tiden er han principal data and applied scientist hos Microsoft, men har tidligere jobbet for Sedge, Google og YouTube, blant andre ting.

38.600 s
00:00:01

I tillegg har han også vært med å starte en rekke selskaper, og han har også investert i en rekke startups. Og jeg glemte å nevne at han også har en doktorgrad i informatikk og har fem patenter på søk- og annonseteknologi. Velkommen, Amund. Ja, takk. Det er jo litt av en imponerende bakgrunn du har, så jeg gruer meg litt til dette intervjuet her.

20.760 s
00:00:40

Men i dag skal vi snakke litt om maskinlæring og nærmest gpt3. Hva er dette for noe? Hva er gpt3? Gpt3 er det man kan kalle en språkmodell. Den modellerer naturlig språk med maskinlæring. Språkmodellet er noe som har vært i mange år. Man har jo sånn som på...

24.080 s
00:01:01

I 90-tallet brukte man noe som heter Hidden Mark of Models for å modellere språk, for eksempel det å skjønne menneskelig tale. Det fungerte ikke spesielt godt på den tiden, men det var det man hadde. Så har det kommet en del andre metoder etter det. Man har sånn som GPT-3 er basert på en oral nettverk, og man har en del

24.780 s
00:01:25

andre språkmodeller basert på neural nettverk som kom tidligere, sånn som rekurente neural nettverk, der du har en du kan se for deg på en måte at du har en tekst, det er jo bare en sekvens av ord eller av tegn og da prøver man å modellere det på en måte som en lang strøm da, og så prøver man å skjønne den strømmen og kanskje bruke den til for eksempel maskinoversettelse eller

22.900 s
00:01:50

Eller andre formål. For eksempel klassifisering. Så grepet det. Jeg tror vi må et par steg tilbake. Hva er språkmodellering? Veldig enkelt forklart. Språkmodellen er at en datamaskin prøver å gi en viss forståelse eller representasjon av språk. Man har jo den gamle uttrykket at man sier at et språk

27.960 s
00:02:13

Et bilde tilsvarer tusen ord, men i praksis er det å modellere språk, som er noe som mennesker har laget, kanskje vanskeligere enn å modellere bilder, sånn at

12.360 s
00:02:42

Man skulle tro at det var motsatt, men språkmodell er veldig kompliserte å lage, og de krever mye beregningskraft. Så en praktisk språkmodell er jo hvis du bruker en eller annen talegjenkjenning, du har kanskje på mobilen din eller på PC-en din, så har du jo forskjellige, om det er Cortana eller Siri eller hva man nå har, så er det jo en språkmodell som ligger på en måte bak den, og

24.140 s
00:02:55

En er å skjønne naturlig tale og gjøre om det til noe som datamaskiner kan skjønne i tekst, og så er det på en måte å skjønne teksten, hva det egentlig er du ute etter.

10.240 s
00:03:19

Så da har du kanskje to språkmodeller. En språkmodell, hvis jeg forstår det riktig, er at en ting er at mennesket har et språk, men så må jo datamaskinen kopiere det språket og forstå at dette er et språk. Og så handler det om det neste steget, å skjønne meningen med språket, eller med for eksempel ordene i språket. Forstår jeg det riktig da?

27.820 s
00:03:30

Ja, det stemmer. Og det er ganske mange applikasjonsområder hvis du først får til å modellere språk. Sånn at, ja... For da kan du ikke snakke med en datamaskin, og en datamaskin kan da kanskje utføre ordre for deg. Men en ting som er viktig er at selv om maskinen til synlatene skjønner hva du sier, så gjør den egentlig ikke det. Den klarer å på en måte...

28.180 s
00:03:58

transformere det du sier til en handling. Så den har ikke på en måte en dypere forståelse, hvis jeg er mer sånn filosofisk. Det er en mer sånn mekanisk forståelse på en måte. Ja.

11.900 s
00:04:27

Ok, for hvis dette ordet blir sagt, så kan det føre til disse handlingene. Hvis en menneske sier start støvsugeren, så kjenner man en støvsuger. Støvsuger og ordet start for en støvsuger betyr at man skal initiere prosessen med å starte støvsugeren. For eksempel da. Uten at man egentlig skjønner hva man egentlig, maskinen skjønner ikke hva man gjør, men den bare følger en rekke kommandos.

29.080 s
00:04:39

kommandoer da. Stemmer. Skjønner. Ok, så nå vi har skjønt da hva språkmodellering er, så er spørsmålet da, hva er GPT-3M?

11.280 s
00:05:08

Ja, så som GPT-3 er en familie av språkmodeller som er såkalt generative, sånn at de kan generere språk. Og man har jo også andre generative AI-modeller, de kan generere bilder, de kan generere video, de kan generere lyd, som er på en måte syntetisk. For eksempel hvis du snakker med en datamaskin og den snakker tilbake, så vil den generere en syntetisk lyd tilbake, en syntetisk tale. Og

27.100 s
00:05:20

Så GPT-3 kan generere tekst, men kan også på en måte brukes til språkmodeller. Du kan også modellere andre typer språk. Du kan ha et lite programmeringsspråk, og så kan du modellere det også. Så det er en sekvens av noe som ligner på et språk, om det er et naturlig språk eller et programmeringsspråk for eksempel.

21.420 s
00:05:48

Så det er det som veldig mange maskiner går ut med, er jo på en måte mer om det på å organisere ting, for eksempel klassifisere, du skal gruppere, du skal kanskje beskrive noe med for eksempel et regelsett, mens GPT-3 prøver å generere. Det er noen som kaller det kreativ AI også,

20.460 s
00:06:09

Jeg holder meg til generativ AI personlig. Kan du forklare med et eksempel hva du vil si å generere? Ja, sånn som de eksemplene. GPT-3 er jo et begrenset API fra OpenAI som kjører på Azure i dag, så jeg har ikke hatt tilgang til det selv enda. Men de eksemplene som er brukt, så er det...

26.480 s
00:06:30

For eksempel et eksempel der du har korte beskrivelser av SQL queries, altså database queries, og så gir du noen få eksempler på å finne ut hvem som er ansatt i divisjonen D og D, for eksempel. Og så har du tilsvarende SQL query, og så har du noen få eksempler av det, og så gir du en nytt spørsmål-kurs.

24.860 s
00:06:57

Nevnt i episoden

GPT-3 

En språkmodell som bruker maskinlæring for å modellere naturlig språk, kan generere tekst og modellere andre typer språk

Amund Tveit 

Ekspert på data science, jobber hos Microsoft, har jobbet for Sedge, Google og YouTube, startet selskaper og investert i startups, har doktorgrad i informatikk og fem patenter

Shifter 

Podcasten der intervjuet finner sted

Microsoft 

Amund Tveit jobber hos Microsoft som principal data and applied scientist

Sedge 

Amund Tveit har jobbet for Sedge

Google 

Amund Tveit har jobbet for Google

YouTube 

Amund Tveit har jobbet for YouTube

Hidden Mark of Models 

En språkmodell som ble brukt på 90-tallet for å modellere språk, fungerte ikke spesielt godt

Neural nettverk 

GPT-3 er basert på et neuralt nettverk, en metode for å modellere språk

Rekurente neural nettverk 

En type neural nettverk som ble brukt tidligere for å modellere språk

Cortana 

En språkmodell som ligger bak talegjenkjenning

Siri 

En språkmodell som ligger bak talegjenkjenning

OpenAI 

Et selskap som utvikler GPT-3, kjører på Azure

Azure 

Plattformen som OpenAI kjører GPT-3 på

SQL 

Et programmeringsspråk for databaser, GPT-3 kan generere SQL-queries

Wikipedia 

GPT-3 er trent på data fra Wikipedia

Guardian 

En britisk avis som brukte GPT-3 til å generere en artikkel

Cefalo 

Et norsk outsourcing-selskap som rekrutterer utviklere i Bangladesh

Bangladesh 

Et land der Cefalo rekrutterer utviklere

Kygo 

En DJ som bruker samples og syntetiske lyder i musikken sin

Jack Ma 

Gründer av Alibaba, har et optimistisk syn på AI og kreativitet

Elon Musk 

Gründer av Tesla og SpaceX, er pessimistisk om AI og frykter at det kan føre til utryddelse av mennesker

Skynet 

En fiktiv AI i Terminator-filmene som blir bevisst og prøver å utrydde menneskeheten

Magnus Carlsen 

Sjakkmester, har startet et selskap

Kasparov 

En tidligere sjakkmester som ble slått av en datamaskin på 90-tallet

Alibaba 

Et kinesisk teknologiselskap grunnlagt av Jack Ma

Tesla 

Et amerikansk selskap som produserer elbiler, grunnlagt av Elon Musk

SpaceX 

Et amerikansk romfartsselskap, grunnlagt av Elon Musk

GPT-2 

En mindre språkmodell fra OpenAI, var først ikke åpent tilgjengelig, men ble senere gjort tilgjengelig

Twitter 

En sosial medieplattform der Amund Tveit følger folk som jobber med maskinlæring

ARCSIV 

Et arkiv av vitenskapelige artikler innenfor informatikk

LinkedIn Learning 

En plattform for online-kurs, tilbyr kurs i maskinlæring

GitHub 

En plattform for å dele kode, tilbyr kodeeksempler for maskinlæring

Deltakere

Guest

Amund Tveit

Host

Unknown

Sponsorer

Cefalo

Lignende

11/22/2023

Shifter

Knekk ChatGPT-koden, med forfatter og journalist Per Kristian Bjørkeng.

Ukens gjest er Aftenposten-journalist Per Kristian Bjørkeng. Han har nylig skrevet boken “Knekk ChatGPT-koden”. I 2018 ga han ut boken Kunstig Intelligens -den usynlige revolusjonen.Tema: 0:02:46 Forskjellen mellom GPT-4 og GPT 3.50:03:34 Vurdering av karakterer i advokatyrket og jussbransjen0:06:04 Bruken av GPT-4 som et alternativ til advokater0:09:41 En hjelpsom slurvete allviter0:12:40 Viktigheten av å være tydelig og spesifikk med instruksjoner0:15:04 Sammenligning med Google og behov for gode spørsmål0:17:59 Feilene GPT-3 gjør0:18:26 Diskusjon om å stole på kunstig intelligens0:21:09 Skolen som tidlig bruker av kunstig intelligens0:23:36 Kunstig intelligens' begrensninger innen matematikk0:30:42 De svakeste får mest utbytte av teknologien0:33:10 Vurdering av kvalitet vanskelig uten kunnskap om området0:42:07 Utfordringene med automatisering og utdanning0:45:14 Usikkerheten rundt utviklingen av maskiner og læringssituasjonen0:50:02 Perplexity - En blanding av GPT-4 og nettbaserte søk0:52:57 Fallgruber og begrensninger ved bruk av GPT0:55:28 Interaktivitetens betydning i kommunikasjonen0:58:10 Anbefaling av en utdanning som gjør deg til generalistProgramleder: Lucas Weldeghebriel, journalist og gründer i Shifter. Hosted on Acast. See acast.com/privacy for more information.

Se mer

9/25/2024

Wolfgang Wee Uncut

Edmond Yang | AI: ChatGPT, Bildegenerering, Tekst Til Video, Kappløpet, Markedsføring, Produktdesign

Wolfgang Wee Uncut #550: Edmond Yang er AI-ekspert, billedkunstner, gründer og foredragsholder. 0:00 Westerdals 6:35 ChatGPT 8:06 Få hjelp av ChatGPT 12:10 Meta-briller 14:30 AI 20:00...

Se mer

12/28/2022

Shifter

Julespesial: Salvador og Lucas diskuterer året som har gått

I ukens episode diskuterer Salvador Baille og Lucas Weldeghebriel året som har gått.God jul og godt nytt år fra Shifters podcast! Vi ses i 2023. Hosted on Acast. See acast.com/privacy for more information.

Se mer

5/4/2023

Teknisk sett

– GPT er det største gjennombruddet jeg har fått lov til å være med på | #489

Få jobber så tett på spydspissen i det Microsoft driver med som Knut Risvik. Det verden har fått et innblikk i nå gjennom GPT 3 og 4, er et paradigmeskifte, mener han – og kaller det en ett år gammel baby som har demonstrert utrolige evner.

Se mer

8/27/2023

Wolfgang Wee Uncut

Inga Strümke | AI, Personvern, Kappløpet, Kunst, Maskiner Som Tenker, Kunstig Intelligens

Wolfgang Wee Uncut #414: Inga Strümke er fysiker, forsker, forfatter og AI-ekspert. 0:00 Start 0:50 Ingas vits 3:39 Prioriteringer 12:00 Data og personvern 12:08 AI vs. Personvern 16:50...

Se mer

12/19/2017

Shifter

Fra 100.000 i EK til 2,5 milliarder i inntekter. Suksessgründer Jørn Lyseggen.

Shifter har jobbet i halvannet år med å få et intervju med Jørn Lyseggen, og nå er han endelig er gjest i ukens podcast på Shifter. Selskapet hans, Meltwater, tilbyr medieovervåkning og analyse, og hadde i fjor inntekter på over 2,5 milliarder kroner. Men oppstarten var alt annet en glamorøs. Det ble startet på Tjuvholmen i 2001 med 100.000 kroner i egenkapital og en kaffemaskin. Selskapet har deretter blitt bygget opp uten eksterne investorkroner. I podcastepisoden snakker Lyseggen blant annet om dette: Suksesskriteriene for å bygge et globalt selskap Det hardeste med å bygge et stort selskap Viktigheten av kultur, visjon og misjon. Om teknologi-skolen han har bygget i Afrika Den store misforståelsen av AI Kjære lytter. Gi oss tilbakemelding på denne episoden. Enten til Lucas@shifter.no, eller skriv en anmeldelse på iTunes 😊 Det hjelper oss å nå ut til flere. Hosted on Acast. See acast.com/privacy for more information.

Se mer

9/4/2024

Shifter

Oppdatering av ChatGPT. De viktigste endringene og praktiske tips, med Per-Kristian Bjørkeng.

I denne episoden dykker vi inn i hvordan kunstig intelligens, spesielt ChatGPT og andre språkmodeller, revolusjonerer arbeidslivet vårt. Aftenposten-journalist Per Kristian Bjørkeng, forfatter av «Knekk chat GPT-koden», er ute med en oppdatert versjon av boken.Her deler sine tanker om AI-teknologier og de utfordringene og mulighetene de bringer med seg. Vi diskuterer hvordan dagens læring bør omfatte kritisk tenkning og teknologi-forståelse. Han gir innsikt i AI-verktøy som kan forbedre arbeidsprosesser for både journalister og andre fagfolk. Programleder: Lucas Weldeghebriel, journalist og gründer i Shifter.PS: Sjekk ut den første episoden med Per Kristian Bjørkeng her: https://podcasts.apple.com/no/podcast/knekk-chatgpt-koden-med-forfatter-og-journalist-per/id1150062749?i=1000635633296 Hosted on Acast. See acast.com/privacy for more information.

Se mer

3/20/2024

Shifter

Silvija Seres' AI -råd til næringslivsledere

Silvija Seres var AI-ekspert lenge før folk snakket om AI, hun er investor, gründer, podcaster og har en doktorgrad i algoritmisk optimering. 0:13:42 Utviklingen av AI: Fra narrow AI til super AI0:22:18 Bekymringer og handlinger rundt AI-utviklingen0:22:35 Digitalisering i ulike land0:23:54 Norges potensiale og begrensninger0:39:12 Norge og eksisterende styrker0:41:36 Veksten av AI og nødvendigheten for handling0:45:59 Kreativitet og teknikk med AI0:52:36 Algoritmer og samfunnsoptimalisering0:55:30 Teknologi, demokrati og friksjonsfrihet0:59:40 Frykt, konkurranse og politisk polarisering Hosted on Acast. See acast.com/privacy for more information.

Se mer