7/19/2018

Episode 132 - Krigen mellom den gode og onde maskinlæringen

Teknisk sett-podcasten diskuterer maskinlæring i datasikkerhet. De snakker om hvordan Google og Siri bruker maskinlæring for å forstå norsk språk og hvordan dette kan brukes til å identifisere trusler. De diskuterer også den økende bruken av maskinlæring i selvkjørende biler og i å bekjempe overgrep og mobbing. De understreker at maskinlæring både kan være et verktøy for å beskytte og et verktøy for å angripe, og at det er viktig å være klar over de potensielle farene og fordelene.

00:00

I denne episoden diskuteres maskinlæring og datasikkerhet, samt hvordan teknologi påvirker vår personlige informasjon og adferd.

14:07

Norge opplever naivitet i tillit til digitale tjenester, som kan føre til svake sikkerhetsløsninger mot avanserte cybertrusler.

Velkommen til Teknisk Sett,

Transcript

Velkommen til Teknisk Sett, en podcast fra TU. Jeg sitter her som sett vanlig med Odd-Rikard. Hei Jan, som sett vanlig. Mitt navn er Jan Moberg og jeg er sjef her i TU. Odd-Rikard, i dag skal vi rett og slett snakke litt om maskinlæring og datasikkerhet. Ja, det skal vi. Og...

Det jeg har lagt merke til er at innfallsvinkelen er at du søker veldig mye. Du snakker inn i telefonen i stedet for å taste søk. Ja, taster på en mobiltelefon synes jeg er litt kvekkete. Google har blitt utrolig flinke til å skjønne

tale på norsk. Det slår nesten av deg feil når du skal til en adresse, når du skal stille et spørsmål, så stiller jeg spørsmålet på norsk i telefonen og så smakser det deg. Men når du står her ute og sier til Google

Google hjelp, jeg har vært den dummeste sjefen, hva kan jeg gjøre? Jeg hører jo det, ikke sant? Du må jo ha litt herskel. Er det noen grunn til å begrense det da? Men det som er interessant her er jo at du lærer opp Google. Det gjør jeg. Og Siri for den saks skyld. Ja. Men vil Siri og Google lære om deg?

Selvfølgelig. Jeg er sikker på at min digitale tvilling, for å bruke det begrepet, ligger i flere varianter ute på nettet, og vet mer om meg enn jeg på mange områder. Kan analysere deg, men bedre presist enn du selv kan. Og da ikke som identitet, men som adferd. Ja.

For å snakke litt om dette så har vi med oss en gjest som har vært her tidligere, nemlig Kristian Sandberg. Velkommen. Takk for det. Du er leder for ekspertteam i Europa faktisk i Checkpoint Software Technologies.

Er vi inne på noe her? Ja, absolutt. Maskinlæring er noe som er veldig hot, et buzzword som brukes i mange bransjer, også i sikkerhetsbransjen, og som som

For Google og for Apple som bruker sine tjenester, så bruker vi også det til å prøve å avgjøre om noe er en trussel eller om det ikke er det. For oss er det kanskje litt større utfordring hvis vi tar feil.

Ja. En det for eksempel er om Siri ringer feil person. Ja. Når vi tar en avgjørelse, så kan det da for eksempel enten da stoppe et angrep som er et angrep, eller stoppe noe som ikke er et angrep og hindre noe som kanskje burde vært sluppet gjennom. For eksempel et rønkenbilde til en person som må

som krever veldig rask behandling etter en annen sted. Vi beveger oss nå i grensesnittet mellom det og at maskinlæring blir et hjelpemiddel til å lære en trussel. Korrekt. Er det noen grunn til at Odd Rikard skal slutte å snakke til Google for å få søke resultatene sine? Nei, altså...

Det er en personlig ting, egentlig. Det er den siden av det. På den andre siden er det jo veldig bra at vi lærer opp datamaskinen mye mer for å kunne hjelpe oss når vi trenger hjelp. Google vil jo få spørsmålet skriftlig som alternativ. Så Google vil jo få de dataene. Men samtidig er jeg jo bidratt til å lære Google norsk.

Hvor mange år har vi ikke holdt på for å få norsk språkteknologi, og så har Google bare fiksa det med maskinlæring? Det er jo også en forskjell på muntlig uttrykning, altså måten du stiller spørsmål på. Antagelig gjør du det oftere. Men har vi noen grunn til å tro at Google sier i kartlegger og drikkart? Selvfølgelig gjør de det. Det vil nesten være dumme hvis de ikke gjorde det.

De gir deg en tjeneste som i utgangspunktet virker gratis, men den er jo ikke det. De har sine utgifter med å gjøre dette her. Det koster ganske mye penger å behandle disse dataene og har andre måter av å få dekket det på og bruke de dataene senere.

på en måte for deg og mot deg. Og det som er viktig for maskinlæring er jo å ha størst mulig datagrunnlag til å trene algoritmene og datamaskinene med, for da blir de mer og mer og mer nøyaktige. Derfor er det også viktig at vi bidrar og leverer data inn til løsningene. Ja, og det her blir jo mer og mer liv og død når vi snakker om selvkjørende biler. For det er jo helt avhengig av maskinlæring. Helt riktig. Så det blir...

Det blir litt på en måte som for oss i sikkerhetsbransjen, at da blir konsekvensene mye større hvis man tar feil, hvis algoritmen ikke er godt nok trent. Kjører du på en vei som mange andre har kjørt på, og du har fått mye data i algoritmen og lært opp bilen eller maskinene til å håndtere de situasjonene som måtte være der og som måtte dukke opp, så er du sikkerere. Kjører du på en vei som veldig få har kjørt på,

kanskje den har blitt endret, som ikke da maskinen har fått med seg, så er det mye vanskeligere å håndtere de situasjonene som er ukjente. Og samme måte er det innenfor sikkerhetsbransjen når vi bruker maskinlæring. Vi lærer algoritmene med maskinlæring,

Ting vi vet er bra, ting vi vet er dårlige, og da skal vi lære systemen å se forskjell, og så har vi en gråsone i midten som ofte er ganske vanskelig å håndtere. Jo mer data vi har om hva som er bra og hva som er dårlig, jo lettere er det å få våre algoritmer til å ta mindre feil. Men du jobber jo i et system som regner med å bli hyret inn av store organisasjoner for å hindre oss av data innbryd. Det vil jo være ganske...

om den selvkjørende flåten til Tesla for eksempel etter hvert ble hijacket av inntrengere som tok kontroll over bilen eller tuklet med dataene. Helt riktig. Og de blir jo enda mer sårbare noen gang da. Ja, og man bruker faktisk da maskinlæring for å forhindre det og for å beskytte da de datene som da igjen brukes til maskinlæring. Så maskinlæringen er både i sikkerhetens tjeneste og trussel. Helt riktig. Ja.

Det kan også brukes av de som lager truslene. Hvis man utvikler metoder for å skjønne hvordan trusler gjøres i dag, så kan man prøve å finne måter å lage nye trusler på som ikke matcher de måtene man kjenner til i dag. Da trener maskinene sine til å lage nye trusler som ikke

ikke da innenfor de mønsterne som man kjenner i dag. Er det på en måte skurkene som har best utgangspunkt nå? For de kan starte på scratch hver gang? Det kommer litt an på, for de som da har tilgang på veldig mye datakraft, for å tre...

datamaterialet, for det å trene opp en algoritme til å gjøre dette her krever veldig mye datakraft, og det krever veldig mye data. Og det er jo ikke hvem som helst som kan få tak i. Så statlige aktører har selvfølgelig en fordel når det gjelder dette her, å kunne ha tilgang på mye ressurser. Men nå er det også sånn at det finnes jo en del ikke-statlige aktører som har

for eksempel da tatt over store datamiljøer og har infisert mange PC'er og sitter på ganske mye datakraft og kan også da bruke det til å gjøre sånne ting men du kommer jo i et lenda her og Rikard, du er jo sånn sci-fi fan hvor du kan tenke deg at maskinene sitter og jobber mot hverandre

Det kan du tenke på i fremtiden, ja. Det er ikke bare fremtiden. Hvis du for eksempel var på DEFKON-konferansen i Las Vegas allerede i fjor, år før og år før der igjen, så er det alltid en konkurranse der hvor det er datamaskiner som faktisk slåss mot hverandre.

og infisere hverandre med diverse verktøy og utvikle nye verktøy og finne nye svakheter i de andres verktøy som de utvikler real time. Så det er som da bruker av sånne type systemer for å gjøre det til det her. Det er litt analogt til det her. Det finnes i dag. Ja, det er spillet som Google krekket som var nærmest ukrekbart for en tid tilbake.

Vi er jo på vei inn i ganske... Ja, vi er på vei inn i science-fiction nå. Tror vi egentlig har vært der en stund. Ja, og det mest skremmende er jo da, som jeg har vært inne på før, er jo å gå inn og se på robotene til Boston Dynamics, og så tenker jeg disse systemene i tillegg. Ja, slike brukt i krig, og det kommer jo til å skje, selvfølgelig. At det løper krigeroboter ut i marka og skyter på folk.

Ja, og igjen, da må man ha utfordringen om å finne datagrunnlaget for å gjøre dette her, og trene modellene for å... Ja, hvordan skiller du den å finne? Korrekt. Det er en utfordring, så jeg tror nok det er en stund igjen til vi ser noe sånt. Når vi enda ikke har klart å lage ordentlig selvkjørende biler, så tror jeg det å lage en selvkjørende kriger er kanskje enda lengre unna.

Vi får følge utviklingen der også, tenker jeg. Men dra det litt tilbake til noe nyttig da, for å kalle det det, så kan jo disse systemene også brukes for eksempel til å avdekke overgriper eller kriminalitet eller andre ting. Helt riktig. Og hva er status på det? Det er jo...

Jeg så for ikke lenge siden at det var noen forskere i USA som hadde utviklet en algoritme, det er det da bruker man typisk da, maskinlærning, for å avdekke overgripere i nettfora. Ja.

som datagrunnlag og kan da kjøre dette her da mot forumene for å se om de finner andre overgriper eller andre som uttrykker seg på samme måten som disse type overgriperne her. Så det kan brukes i den sammenhengen. Det kan også brukes til å avdekke mobbing. Fordi man kan gjøre det på samme måten og

Det kan også brukes til å lære opp hvordan man skal oppføre seg i den digitale atmosfæren, i tillegg til å ikke bare stå på trusler. Det høres ut som en slags lavtengende frukt for meg å kunne gjøre sånt. Det er mye verre når stater finansierer inntrengende operasjoner. De tror jeg det blir vanskelig å beskytte seg mot.

Ja, det vil alltid være en vanskelighet. De som har mest ressurser til å sette i gang noe, det er alltid det mest vanskelig å beskytte seg mot, fordi de vil gjerne ligge litt foran deg når det gjelder teknologien og kunne bruke den teknologien som du bruker til å beskytte til å lage...

truster som er mer avanserte enn teknologien som beskytter. Vi får jo også en ny dynamikk i lovverk og rettigheter. GDPR er jo ansett som en styrking av individets personvern.

Det vil kanskje gjøre det vanskeligere å bruke autonome systemer i det gode hensikt også. Så det er jo stor... Altså det må skje mye juridisk. Ja, det er en stor utfordring. Det er også spesielt for de som skal drive med maskinlønning. Fordi hvis du eier alle datene dine, og skal ha rettighet på å kunne slette de etterkant...

og hvis de da er brukt til læring av systemer, så ligger de da på en måte inni algoritmen allerede. Så det er en del gråsoner her som kan være utfordrende å håndtere, for hvis du da sletter alle dine data, og mange gjør det, så mister man en dag grunnlaget for å kunne trene modellene videre, og plutselig kan modellene bli veldig forsøvet, fordi man har mistet en del grunnlag som er viktig når man flytter bort data.

Så GDPR er en stor fordel for individet med å få kontroll på data, men det kan gjøre det en del vanskeligere i forbindelse med maskinleir. Nå jobber jo du internasjonalt, Kristian, som leder eksperttteam i Europa for Checkpoint Software Technologies, som jo

ble stiftet av israelere og har hovedkontor i Silicon Valley. Men du har perspektiv på ting. Hvordan ligger vi an her hjemme egentlig i forhold til våre nasjoner ute, kolleger?

Jeg tror at det jeg ser i den private atmosfæren, at det vi gjør privat som individer, der er vi på edge, for å si det sånn. Kanskje litt over noen ganger. Vi er raske med å ta i gang og bruke nye verktøy og nye systemer og nye tjenester som kommer opp. På godt og vondt. Ja.

Jeg vil jo tro at det er på mest godt. Det gjør at vi som samfunn får ganske mange fordeler for mange andre samfunn som ligger litt mer tilbake og er litt mer restriktive og litt mer konservative til å ta i bruk sånne ting. For eksempel noe så simpelt som vi ser på som at du skal kunne betale med digitale midler, altså

kreditkort eller telefon eller andre ting. Hvis du for eksempel drar til ikke så langt som Tyskland og prøver å gjøre det der, så er det vanskelig. Sånn sett så tror jeg at vi er vant til å ta i bruk teknologi som privatpersoner. Det tror jeg er en stor fordel. Når det gjelder det å ta i bruk teknologi og også når det gjelder å beskytte seg mot truster, så tror jeg vi har langt igjen.

Vi er veldig godtroende i Norge. Tror at det er meg som skal ta oss. Vi har også høyt tillit innen befolkningen. Det er en kvalitet. Det smitter kanskje over på vår digitale adferd. Et godt eksempel på det er spjonsaken som kom opp for ikke så lenge siden.

Nordmann fengslet i Russland. Nettopp. Og hvem kunne tro at en nordmann drev som spion? Rørende naivt. Nettopp. Og så naive er vi ofte når det gjelder at vi stoler kanskje på å få mye på det som kommer ut av tjenester og verktøy. At man bare blindt stoler på det. Og

Vi i bransjen snakker ofre om generasjoner av sikkerhetsløsninger og generasjoner av måter å beskytte seg på. Når vi ser på de angrepene og det trusselbildet som er i verden i dag, så

kategoriserer vi at vi ligger et sted mellom femte og sjette generasjon. Det er ting som sprer seg automatisk, det er ting som tar datagisler som gissel, det er man gjenbruker ting som er laget av veldig avanserte aktører.

for å få veldig stort omfang på de angrepene som kommer. Når vi ser på hva en gjennomsnittlig privatbruker eller en gjennomsnittlig bedrift i Norge har beskyttet seg mot, så er det å håndtere trussel som kanskje er et stemel om 2. og 3. generasjon. Vi ligger langt etter hvis vi går ned til Tyskland når det gjelder på demo-området, så tror jeg snittet der ligger på 4. og 5. generasjon.

Det er dette med vår naivitet, kanskje, tillitsbasert. Et spørsmål avslutningsvis, som, Odd-Rikard, vi har snakket en del om, og som du brakte opp for mange år siden, faktisk. Dette med sikkerhet på data i Norge. Hvorfor kunne ikke vi som nasjon, i hvert fall for våre offentlige data, laget et eget datacenter for det i Norge? Nå når det er snakk om maskinlæring, så hvordan ville det spilt? Har det noen hensikt?

ville det hatt noe hensikt? Det kunne jo kanskje vært en idé, da ville vi fått eierskap til datene på en bedre måte, men

Det har vært åpne data som har vært tilgjengelige for alle. Noen av dem. Hvordan skulle man styre det? Det er ganske komplisert. Med maskinlæring vil ikke alt ligge der. Da må du slippe noe ut. Det er jo akkurat for helsevesenet å tenke i de baner du er. Det vil jeg tro. Men på den andre siden, hvis du bare baserer helsedatene på data fra Norge, så får du et veldig dårlig grunnlag. Nei, det må være porter inn og ut, selvfølgelig. Ja.

Men igjen da, når du da trener algoritmene med data fra forskjellige land, så vil du i og for seg da algoritmene inneholde da data fra, og så hvordan skal du håndtere det. Men ja, det er en utfordring. Men jeg tror at jeg tror ikke det er noen

Jeg har ikke sett at det er noe på gang når det gjelder sånne ting, at man skal ha lokale datacenter for alle datene sine. Nei, debatten har flyttet seg en del, og det er klart det er veldig viktig. Fremtidens helse ligger jo også i algoritmene. Ja, og prisfallet på skytegjenster internasjonalt har jo vært såpass at... Ja, så det hele koker litt i data.

Kristian Sandberg, takk skal du ha. Veldig interessant. Vi får oppsummere med at her med maskinlæring og sikkerhet så er det jo grenser mellom trussel og hjelpemiddel og at vi i Norge er kanskje litt naive. Lært på oss litt? Tror jeg, godt av det. Takk.

Mentioned in the episode

Google

En søkemotor og teknologiselskap som bruker maskinlæring for å forstå norsk språk og andre formål.

Siri

En digital assistent fra Apple som bruker maskinlæring for å forstå norsk språk.

Checkpoint Software Technologies

Et selskap som bruker maskinlæring for å identifisere og bekjempe datasikkerhetstrusler.

Maskinlæring

En type kunstig intelligens som bruker datamaskiner til å lære uten å være eksplisitt programmert.

Selvkjørende biler

Biler som bruker maskinlæring til å navigere og styre uten menneskelig innblanding.

DEFKON

En konferanse i Las Vegas der datamaskiner konkurrerer i datasikkerhetsutfordringer.

Boston Dynamics

Et selskap som utvikler roboter, spesielt for militær bruk.

GDPR

EUs generelle databeskyttelsesforordning, som gir individer mer kontroll over sine data.

Silicon Valley

Et område i California kjent for sin teknologiindustri.

Kredittkort

Et betalingskort som brukes til å gjøre kjøp.

Tyskland

Et europeisk land der digitale betalingsmetoder kan være mindre utbredt enn i Norge.

Russland

Et land der en nordmann ble fengslet for spionasje.

Tesla

Et selskap som produserer elektriske biler, inkludert selvkjørende biler.

Datagisler

Data som holdes som gisler for å kreve løsepenger.

Skytjenester

Datatjenester som leveres over internett.

Teknisk Ukeblad, en norsk teknologi- og næringslivsavis.

Participants

Host

Jan Moberg

Host

Odd-Rikard

Guest

Kristian Sandberg

Episode 132 - Krigen mellom den gode og onde maskinlæringen

Transcript

Mentioned in the episode

Participants

Similar