Episode 251 - Fargebildeteknologi

Kanskje noe som er litt ubehagelig for folk, det å få et kamera et sted som ikke er så hyggelig, enten gjennom munnen eller i andre enden. Og da er det kanskje bedre å bare svelge en pille som da tar bilder. Velkommen til Teknisk sett, en podcast fra TU. Mitt navn er Jan Moberg, og jeg sitter her enda en gang med Hadrik Artalmått. God dag, Jan. Hei. Nå er jeg... Nok en gang, en podcast fra NTNU, Gjøvik. Det er det, tredje. Og her tenkte jeg at dette var overraskende for meg, det vi fant, og vi skal snakke om det. Ja, det var det. Og det jeg bare må si er at det første jeg tenkte på, det var jo at du investerte ganske mye kroner av lompenger på sånne der grafikkort og sånt. - Kvarkekspress og skjerner og... - Vi snakker hundre tusener, altså fra 80-tallet og utover. - Du var egentlig litt som grafiker da? - Ja, jeg var det en periode. - Ingeniør-grafiker? - Skrev bok om desktop publishing og holdt på. Det var kjempe-moro. - Hva kostet et sånt skjerpkort til? Vi snakker om et 8-bit skjermkort i annen som bare kunne vise 256. Det er jo langt lenger i XGA-oppløsning. Det kostet et par og trevedetusen. Men så måtte jeg ha en skjerm også, og den kostet trevedetusen. I forhold til i dag, så er det helt absurd dyrt. Men det var early days. Da snakker vi early days 80-tallet. Da snakker vi slutten av 80-tallet, ja. Ja. Nei, jeg visste jo for så vidt litt om det, men det kom opp igjen til overflaten nå da. Vi skal nemlig nå snakke med en professor i fargebildeteknologi, Rikard. Det skal vi. Her på NTNU har de en egen fargelab som han driver, og han heter Marius Pedersen. Velkommen. Tusen takk. Du hører vi har med oss tung kompetanse inn i podcasten. Ja, det her blir spennende da. Åtte bits fullfarvelseim, vi har vel ikke tatt det vi har sett. Nei, jeg har sett de også. Det blir spennende å prate. På museum. Men Marius, før vi kom inn i labben, så står det jo en trykkpresse, en god gammeldags trykkpresse i foyeren. Det gjør det. Og hvorfor? Det er jo, altså vi er jo på gamle høyskolen i Gjøvik, og høyskolen i Gjøvik hadde jo ansvaret for å utdanne grafiske ingeniører i Norge, og det er jo derfor den trykkpressa står der. Det er jo gammel klenodium som er fra de tidene hvor man trykket analogt da. aviser og ukeblader og reklametrykksaker og bøker og alt mulig. Det var litt mer avansert enn presset til Gutenberg, men det var store likheter. Det er det jo. Men hva kom ut av det? Jeg skjønner jo det, og jeg husker det fra min tidligere karriere, når du driver store trykkerier og du skal ha lik fargeinnyvelse og du skal... Ja, det er kvalitet da. Det er det, og det her er jo det, altså fargelabben forskningsgruppa som er her på NTNU i Gjøvik. Vi ble opprettet i 2001. Og som sagt så hadde man jo da ansvaret for å utdanne grafiske ingeniører og det som var viktig var jo å ha konsistent fargereproduksjon at det du hadde på skjerm ble likt som det du fikk ut av trykkpressa di eller printeren eller hva det var. Dette er noe man forsket på, noe man jobbet mye med, og at ting skulle se likt ut. Der var mye av forskningen vår i begynnelsen fra 2001, og i de årene som kom etter det. Da kan vi allerede nå avsløre at det er ganske mange mil lysår unna der nå. Det dere holder på med nå er en helt annen del av skalaen. Man har jo vokst fra å være en regional gruppe, en liten gruppe her med noen få, til å bli en stor gruppe som jobber med mye mer enn det vi gjorde tilbake i 2001. Og ordentlig digitalisert. Og ordentlig digitalisert. Mye av det vi gjør i dag er digitalt, men vi har jo fremdeles noe analogt også med oss da. Altså du ser jo fremdeles, du leser jo avisen og ukeblader og... Ja. Så det er ikke helt borte ennå da. Nei. Men det er jo den kompetansen vi hadde med oss tilbake som vi fremdeles benytter i dag, men også i andre anmeldelser da. Men det som er spesielt spennende for oss å snakke om, er jo dette som åpner seg ved bruk av multispektrale kameraer, som vi fikk se du hadde på labben. Det har vi. Med en kopi av Munchs skrik ved siden av. Men multispektrale, da, må vi kanskje forklare det. Det er det som skjer utenfor det synlige området, i tillegg. Det kan det være. Ja. Men hvorfor så vi munke siden av spektralkamera? Fortell. Det er jo spennende. En av de tingene man kan gjøre når man har multispektral eller hyperspektral avanserte kameraer, er at man kan gjøre analyser av forskjellige ting. Og det vi har jobbet mye med er jo malerier. Og da har du mulighet til å kunne ta bilder av maleriene, og så analysere for eksempel hva slags type pigmenter er det som er brukt. Sånn at det uten å fysisk være i nærheten av maleriet, så kan du greie å finne ut hva slags pigmenter som er brukt av maleren. Da kan du stille spørsmål, hvorfor i all verden skal vi vite det? Og som du påpekte når vi snakket nede i labben, var jo at kanskje man kan finne ut at dette er en forfalskning. Hvis man finner ut at dette er et pigment som ikke var tilgjengelig når maleren lagde maleriet, så er det enten at det er noen som har lagd en påfalskning, eller at det er noen som har vært inne og endret på maleri i etterkant. Det kan være en restaurering som er gjort, for eksempel. Hvilke bølgelengder ser du på når du ser sånn? Er det synlig? Det er jo både det som er synlig, men også det som er ut. Da får du synlig spekter i det som vi da ikke greier å se, og da går vi mot det infrarøde, for eksempel, eller mot det ultrafiolette. Ja, og for å gjøre dette tidligere så måtte du ta pigmentprøver, kanskje? Ja, hvis du ønsker å gjøre en analyse av hva slags pigmenter som var uten maleri, så måtte du ta ut en del av maleriet og gjøre en kjemisk analyse. Og det du da tar ut av maleriet, det blir jo da ødelagt, selvfølgelig. Men jeg må jo også nevne, akkurat når det gjelder skrik, som dere faktisk har gjort en jobb med, er det sant? Ja, det har vi. Så fant dere også noe annet spennende? Ja, det er jo litt spesielt da. Men det vi kan greie å få til er jo også fremheve informasjon som ikke er synlig for det blotte øyet. Og i skrik så står det jo en beskjed, noe skrevet. Og det som står der... Altså i maleriet? I maleriet. I selve maleriet? I selve maleriet. Og det som står er jo da at det kan kun være malet av en gal mann. Ligger det på undersiden, eller har du klart å bake det inn i kjøkkenet? Ja, det er noen om det ligger under, eller om det ligger i malingen der. Det står noe der. Dette var jo noe som var kjent tidligere også, men det å greie å fremheve den informasjonen viser potensialet av teknologien, altså avbildningsteknologi, for å hjelpe de som er kunstinteresserte. Men dette må jo også være veldig greit sånn, altså hvis dere har gjort en analyse på dette maleriet, så vil det jo alltid være en slags, ikke en digital tvilling kanskje, men i hvert fall en bra analyse da, som vil kunne følge dette maleriet. Ja, og digital tvilling, det var fint at du brakte det opp. Man kan jo da lage en digital versjon, og den kan man da også bruke til å gjøre en digital rekonstruksjon av hvordan maleriet så ut når det var mart. Å ja, selvfølgelig. Fordi maleriene de vil jo tape seg over tid. Fargene er ikke like klare, og hvis man da kjenner noe til hvordan pigmentene endrer seg over tid, så kan du... Ta en rekonstruksjon tilbake til sånn som det var. Så du kan gjenoppbygge Mona Lisa som det var på 50-tallet? Teorien, ja. Dette er jo veldig spennende. Av 50 ansatte her er det jo 25 nasjonale tetraversjon, så dere har virkelig fått en internasjonal posisjon? Det har vi. Det er også veldig spennende at dere folk kommer til Gjøvik på grunn av fagfeltet, og ønsker å komme hit for å gjøre forskning, fordi vi er blant kanskje de som er ledende innenfor fargebildeteknologi i verden. Av andre ting dere holder på med, så synes jeg det er morsomt å høre om fiskegjenkjenning. Ja, det er kanskje litt spesielt. Jeg hadde ikke trodd at du skulle bøte her. Nei, jeg hadde ikke det. Absolutt ikke. Vi har et samarbeid med Norsk Institutt for Naturforskning, Det vi ønsker er å gjenkjenne fisk basert på kameraer som er plassert nedi fisketrapper i elver. Før har jeg hørt om folk sitter og teller og lager streker, øret, laks, whatever. Men det er kanskje ikke så lett å se med øyet hva du teller. Nei, og det er det ikke. Noen av de her er jo vanskelig. Man kan ha dårlig kvalitet på bildene, det kan være mye bobler som kommer forbi, du kan få greiner, alt mulig annet som du kanskje ikke ønsker der. Men det vi prøver er å bruke bildebehandling, kompetansen vi har innen kombinert med maskinlæring for å automatisk gjenkjenne hvilken fisk som passerer forbi kamera. Så de jobber både mer nøyaktig og raskere enn mennesker? Ja. Nå kommer vi kanskje litt ut på vidden og går mer inn i fiskeverden, men er det sånn at disse individene kan skjeldnes fra hverandre også? Det er det. En av de tingene vi har sett på er om vi greier å gjenkjenne individuelle forholdsforskninger av mønstre av mønstre på samme måte som fingeravtrykkene våre er unike så er også prikkemønstre på ørreten unikt og da kan man bruke det mønstre til å gjenkjenne individuelle fisk da Det er litt spennende. Det hadde jeg heller ikke trodd at dere skulle møte her. Nei, den togeturen til Øvik ble ganske innholdsrik, den var det ikke klart. Ja, absolutt. Men det gjelder sånn øythet som har prikker, men sill vil jeg tro er mye verre da. Det er nok mye verre, men det skal visst nok være mulig å gjøre på herrer også, så det er mulig å gjøre det på forskjellige fiskearter. Ja, dette er jo nesten bare fantasien som setter grenser her da, og teknologien kan jo kan dra til og bare utvide mulighetene. For vi må jo nevne at enda et prosjekt dere er involvert i, det dreier som en liten kapsel. Ja, det gjør det. Med batteri og kamera. Stemmer. Ja. Og den svelger du. Ja. Vi har hatt og vi har fremdeles et samarbeid med sykehuset i Inlandet her på Gjøvik hvor vi ser på kapsuleendoskopi og det er da en liten pille med batteri og kamera som du svelger som da tar bilder igjennom tarmsystemet og det vi ønsker er jo da å kunne gjøre deteksjon av forskjellige sykdommer for eksempel kreft da Men når jeg svelger den pillen så tar det jo en stund før den går igjennom systemet Det gjør det Du får jo ganske mange bilder fra denne pillen. Du kan få 50 000 bilder som man tar på veien gjennom systemet. Du får kartlagt hele tarmen, millimeter for millimeter? Ja, det kan du godt si. Får du bilder fra Where the Sun Don't Shine, hadde du ikke hørt? Det er jo ikke veldig koselige bilder, men det er viktige bilder. Hvorfor er dette prosjektet satt i gang? Man ønsker jo å gjøre screening av personer i forhold til å finne kreft i tarmen. Og vi jobber jo da spesielt med tyktarm. Og hvis man skal gjøre det på normalt, vanlig vis, så er jo det her kanskje noe som er litt ubehagelig for folk. Det å få et kamera et sted som ikke er så hyggelig, enten gjennom munnen eller i andre enden. Og da er det kanskje bedre å bare svelge en pille som da tar bilder. Men da ender man jo opp med problemet at når man har 50 000 bilder, så er det noen som er nødt til å se på de her bildene. Og det er der dere kommer inn. Det er der vi kommer inn. Så hvis vi i de her 50 000 bildene greier å plukke ut de delene som er relevante for en lege å se på, så vil vi kunne greie å korte ned tida som legen bruker per pasient veldig mye. Da vil vi kunne greie oss å gjøre screening av flere personer, og forhåpentligvis også gjøre dette mer treffsikkert. Hvor langt har dette prosjektet kommet? Vi har jobbet i fire år allerede, men vi har kommet ganske langt. Så har vi nå et nytt prosjekt som begynte i høst, som skal være i fire år til. Er det på en måte samme problematikk innenfor røntgentolkning? Det kan man jo si. Man får store datamengder som man ønsker å gå igjennom, og man ønsker gjerne å kunne greie oss å si noe om hvor i bildet, eller hvilke bilder det er man ser forskjellige sykdommer. Og man ser jo at det blir bare mer og mer data, mer og mer bildeinformasjon som brukes. Og da er man også nødt til å kunne tolke det, og skjæringspunktet her mellom bildeteknologi og maskinlæring er jo veldig spennende. Og det er der vi kan bidra med veldig mye. Mhm. Vi må stille deg på tampene her også, Marius. Spørsmålet vårt, som vanlig, og det er ikke alt krystallkul spørsmål. Hva ser du for deg for Farglaben nå de neste årene? Jeg ser jo for meg at vi kommer til å gjøre forskning på internasjonalt toppklasse. Vi kommer nok til å fortsette oss å vokse, og at flere ønsker seg hit. at vi kommer til å være enda mer synlige på det vi gjør og ha en enda sterkere kompetanse. Jeg tror ikke at bildene kommer til å gå bort. Jeg tror vi kommer til å ha mer behov for vår kompetanse i fremtiden. Det har kanskje blokket de lavtegne kirsebærene, men hvilke kirsebær ser du for deg på veien oppover mot stjerna? Hvilke utfordringer er det? Nei, det er mange utfordringer der ute. Men med industriell verdi? Jeg tror at, som vi har sett, vi har begynt å jobbe mer og mer med medisinsk bildebehandling. Jeg tror at det er et område hvor man har veldig stor nytte av det som vi jobber med. Vi ser også at vi har kompetanse som kan brukes inn i sikkerhetmiljøet. Videoovervåkning, mesteparten i dag, ansiktsgjenkjenning også, vi hjelper bilder. Vi har også et sterkt miljø her på informasjonssikkerhet som vi har samarbeidet mye med. Og jeg tror også at vi kommer til å se mer mot nye typer grafisk, altså 3D-printere, mer utseende, det her, og så få ting til å se bra ut også når man printer i 3D. Og så er jo kunstmarkedet og det er jo... Verdiene blir jo astronomisk etter hvert på en del av disse gjenstandene. Så det er bare å henge i. Kan du få printet ut Jan i 3D som ser bra ut? Ja, det kan vi sikkert greie å få til. Vil du heller ha med det på tog hjem? Marius Pedersen, professor i fargebildeteknologi. Tusen takk. Vi må si som vi ofte sier at vi vil gjerne høre mer fra denne fargelaben også. Ja, dere er velkommen tilbake når som helst. Det var veldig hyggelig. Takk.