Den svarte boksen
En radiolog som vurderer en levertumor på CT-bilder, vil vurdere tumorstørrelse, form, avgrensning, vekstmønster, kontrastoppladningsmønster og så videre. Dette er kjente og kommuniserbare tumoregenskaper som kan vurderes ut fra faglig kunnskap. Nevrale nettverk i radiologi analyserer ikke forhåndsdefinerte egenskaper, de finner selv frem til et hierarki av bildeegenskaper som er relevante for klassifikasjon. Disse «egenskapene» er logiske og matematiske strukturer som håndteres i mange millioner regneoperasjoner. Derfor får vi ikke full oversikt over hvordan diagnostikken gjøres. Nettverket fungerer som en svart boks som mottar bildeinformasjon og leverer en diagnose, og vi vet ikke hvordan.
La oss si at et nevralt nettverk har brukt noen hundre cerebrale MR-undersøkelser for å lære seg å diagnostisere Alzheimers sykdom. Treffsikkerheten er god, og nettverket tas i bruk i diagnostikk. Så anskaffes en ny og annerledes MR-maskin. Da er det behov for ny testing av nettverket. Man kjenner ikke detaljene i hvordan nettverket vurderer bildene og kan derfor ikke forutsi hvordan det vil prestere med bilder som kan ha en litt annen tekstur eller være forskjellige på andre måter. Når nevrale nettverk slik vi nå kjenner dem, brukes i radiologisk diagnostikk, vil det være behov for ny testing og validering hver gang bildeproduksjonen endres. Dette gjelder selv om endringene er beskjedne, som for eksempel justering av ekkotiden i et T2-vektet MR-opptak.
Et annet aspekt gjelder kunnskapsutveksling. En erfaren radiolog kan forklare yngre kolleger hvilke premisser som legges til grunn for en diagnose. Et nevralt nettverk som fungerer som en svart boks, kan ikke forklare sin diagnostiske prosess. Et slikt nettverk bidrar derfor lite til å videreutvikle radiologenes diagnostiske resonnementer. Tilsvarende er det begrenset mulighet for radiologene til å gjøre nettverket bedre, bortsett fra å fôre det med ytterligere treningsbilder.
Den svarte boksen gir også medisinsk-juridiske utfordringer. Hvis en radiolog stiller feil diagnose, vil det som regel kunne avklares hvordan feilen oppsto. Feilen gir stor læringseffekt, som kan kommuniseres til kolleger. Hvis et nevralt nettverk stiller feil diagnose, vet man i utgangspunktet svært lite om mekanismen eller faren for gjentagelse. Det kan være uklart hvem som har ansvaret for feilen. Var programmeringen feil, var læringsprosessen mangelfull, eller er det andre årsaker? Skal selgeren eller sykehuset saksøkes?