Norske virksomheter bør sette KI-standarden
Kunstig intelligens («KI») har stort potensial, men teknologien og styringssystemene for å bruke teknologien er umoden. Denne artikkelen gir offentlige og private virksomheter en oversikt over sentraler deler av risikobildet i møte med kunstig intelligens og hva som kan gjøres for å håndtere relevante risikofaktorer. Slik kan norske virksomheter sette standarden for ansvarlig bruk av KI.
Main moments
Tillitvekkende kunstig intelligens
KI-utviklingen kan i beste fall massivt øke en virksomhets produktivitet og i verste fall rokke ved virksomhetens eksistensgrunnlag. Fem spørsmål er sentrale for å identifisere de primære valgene en virksomhet står overfor i møte med KI og hvilke momenter virksomheten bør tenke på i den forbindelse:
1. Hvilke behov har virksomheten?
2. Hvordan kan de møtes ved hjelp av KI?
3. Hva er risikoene knyttet til bruk og ikke bruk av KI?
4. Hva er risikokildene?
5. Hva bør virksomheten gjøre for å håndtere risikoene?
For å besvare disse spørsmålene har tankesmien Langsikt og Ernst & Young Advokatfirma AS lansert en «Standard for tillitsvekkende kunstig intelligens» («Standarden») for både private og offentlige virksomheter, med praktiske råd for ansvarlig utvikling i alle deler av livssyklusen til KI-løsninger.1
Vi utviklet denne Standarden for å bøte på et problem med eksisterende rammeverk. Disse er ofte svært generelle og reiser flere spørsmål enn de besvarer.2 Langsikt og EYs standard for tillitsvekkende KI er derfor utformet som en praktisk guide for virksomheter som vurderer å ta i bruk KI.
I denne artikkelen beskriver vi hvordan norske virksomheter gjennom sju prinsipper for ansvarlig bruk av KI og fire overordnede styringsprinsipper kan legge til rette for tillitsvekkende bruk av KI. Artikkelen bygger på arbeidet med Standarden, med henvisninger til eksterne kilder.3
Norge har forutsetninger for å være ledende på ansvarlig KI-utvikling. Vi må henge med i KI-utviklingen, men på egne premisser og med norske verdier. Tillit er en bærebjelke i norsk samfunnsliv og en viktig innsatsfaktor i utvikling og bruk av KI. Hvis norske virksomheter opprettholder og forvalter denne tilliten ved å identifisere og sette i verk tiltak for å begrense risikoer ved utvikling og bruk av KI, vil tillit kunne være en konkurransefordel for norske virksomheter.
En systematisk tilnærming til KI og risiko vil gjøre det lettere for virksomheten å møte regulatoriske krav, fremme ansvarlig og tillitsvekkende innovasjon og gjøre virksomheten i bedre stand til å håndtere risikoer ved KI i møte med fremtidige utfordringer.
Artikkelen er strukturert som følger: I neste del redegjør vi for de to hovedformene for KI og strategiske hensyn ved bruk av KI. I delen «Fem former for risiko» presenterer vi fem typer risiko: juridisk risiko, etisk risiko, verdirisiko, oppgaverisiko og disruptiv risiko og redegjør for forholdet mellom dem. Vi går nærmere inn på tre av disse: juridisk risiko og spesielt EUs KI-forordning; etisk risiko, med sju prinsipper for ansvarlig KI; og oppgaverisiko med diskusjon av hvordan god databehandling og styringsrutiner kan øke presisjonen på og relevansen til KI-systemene. I delen «Hvordan skal virksomheter håndtere risiko?» redegjør vi for hvordan virksomheter bør leve med og redusere risiko i tråd med et forventet-nytte-rammeverk. I den siste delen, om «Fire prinsipper for tillitvekkende kunstig intelligens», presenterer vi fire prinsipper virksomheter kan styre etter når de utvikler og bruker KI for å sikre tillitvekkende kunstig intelligens.
Strategiske hensyn ved bruk av KI
I dag skiller en ofte mellom to typer KI:
• Generativ KI er antakelig mest kjent gjennom OpenAIs ChatGPT og har deler av navnet sitt fra teknologiens evne til å generere ny tekst, nye bilder, lyd og videoer. De mest generelle generative modellene utgjør i økende grad også en ny infrastruktur, kalt grunnmodeller. Grunnmodeller har gode generelle ferdigheter, som så kan spesialiseres etter behov.
• Snever KI er tilpasset et snevert bruksområde, hvor den gjerne er svært god. Eksempelvis kan slike systemer brukes til bildediagnostikk, spille spill eller regne ut 3D-formene til proteiner ut ifra en genetisk kode.
Begge typene KI utvikles ved maskinlæring. Før programmerte man smarte regler inn i KI-systemet. I dag lar utviklerne modellen utvikle sine egne regler ved å belønne den for å komme med de resultater utviklerne ønsker seg under treningen. For å trene frem slike modeller trengs det data som modellen kan trene på og datakraft til å utføre regneoperasjonene til grunn for treningen.4
Uavhengig av typen KI en virksomhet vurderer å utvikle eller ta i bruk, bør norske virksomheter ha et strategisk forhold til hvorfor og hvordan KI kan benyttes. Det overordnet viktigste virksomheten bør vurdere i møte med kunstig intelligens er:
1. Hvilke konkrete behov kan virksomheten tilfredsstille ved å utvikle eller ta i bruk KI? For eksempel automatisering av eksisterende arbeidsoppgaver eller bruke KI til å løse problemer en ikke har kunnet løse med eksisterende kompetanse og arbeidskraft.
2. Hvilket behov har virksomheten for å bygge opp kompetanse ved hjelp av KI, som på sikt vil hjelpe å tilfredsstille flere konkrete behov?
3. Hvilket behov har virksomheten for å tilpasse forretningsmodellen eller virksomhetsstrategien etter den teknologiske utviklingen?
Bruk av KI må tilpasses den enkelte virksomhet og oppgavene den utfører. Dette må vurderes løpende etter hvilke KI-løsninger som finnes og hvordan KI endrer markedet eller sektoren en opererer i. Siden teknologien og tilbudet av nye modeller endrer seg raskt, bør virksomheten ha oversikt over nåsituasjonen og en plan for ulike scenarioer fremover. Det er viktig at virksomheten tar et langsiktig og overordnet strategisk perspektiv. De konkrete KI-modellene utvikler seg hurtig og en inngående vurdering av eksisterende modeller og behov kan fort bli utdatert. Virksomheter som evner å tenke fremover i tid og utvikle strategier for ulike mulige scenarioer, vil være bedre rustet i møte med KI-utviklingen.
Fem former for risiko
KI kan tilfredsstille virksomhetens behov, men fører også med seg risiko. Risiko er produktet av skadepotensialet ved en negativ hendelse og sannsynligheten for at hendelsen inntreffer. Jo større sannsynlighet for at skaden inntreffer og jo mer alvorlig skaden er, jo større risiko.
Både det å bruke KI og det å ikke bruke KI medfører risiko. Bruk kan medføre risiko for å bryte f.eks. juridiske krav, men KI kan også hjelpe virksomheten til å forholde seg til lover og regler. I tillegg kan KI forbedre virksomhetens tjenester og produkter. Å unngå bruk av KI kan medføre vel så store risikoer for virksomheten som uansvarlig KI-bruk. Samtidig vil det å ikke ta i bruk KI medføre risiko for å bli utkonkurrert eller å forsømme kompetansebygging som kreves for å være konkurransedyktig. Risiko må derfor balanseres opp mot forventet nytteverdi.
Overordnet kan risikobildet grupperes i fem former for risiko som virksomheten står overfor:
1. Juridisk risiko: risiko for brudd på rettslige forpliktelser, både nåværende og fremtidige, med sivilrettslige eller strafferettslige sanksjoner hvis virksomheten bryter forpliktelsene.
2. Etisk risiko: risiko for at en handler i strid med etiske normer.
3. Verdirisiko: risiko for at virksomheten ikke opptrer i tråd med virksomhetens verdier.
4. Oppgaverisiko: risiko for at virksomheten ikke løser virksomhetens oppgaver på en tilfredsstillende måte.
5. Disrupsjonsrisiko: risiko for at teknologiske og samfunnsmessige endringer undergraver virksomhetens eksistensgrunnlag.
Disse risikotypene er ikke gjensidig utelukkende, men kan overlappe. Rettslige forpliktelser er forankret i etiske normer. Brudd på disse vil dermed også være brudd på etiske normer. Men virksomheter kan også bryte etiske normer uten å bryte rettslige forpliktelser. Også virksomhetens verdier vil overlappe med juridiske og etiske normer, men det kan være særtrekk ved virksomheten og dens verdigrunnlag som krever en særskilt vurdering.
Til sammen og hver for seg kan disse virksomhetsrisikoene true virksomhetens evne til å nå sine mål eller utøve sine funksjoner.5 Å utsette seg for ulike typer risiko kan også medføre skade på virksomhetens omdømme. Virksomheten bør ha et bevisst forhold til de fem risikoene når KI implementeres.6 Det bærer for langt å gå inn på alle gruppene, så vi vil i det følgende berøre juridisk risiko, etisk risiko og oppgaverisiko.
Juridisk risiko og EUs risikokategorier
En viktige kilde til juridisk risiko er å handle i strid med EUs nye regelverk for KI. EUs KI-forordning gjelder i EU fra 1. august 2024, med implementering av regler for de ulike risikokategoriene i løpet av de neste to årene. Den norske regjeringen har uttalt at den ønsker å følge EUs implementeringsplan.
EUs KI-forordning regulerer KI etter risiko, roller og bruksområde. Virksomheten må ha et aktivt forhold til hvilken rolle den har i ulike situasjoner der KI er involvert og samtidig kunne kategorisere bruken av KI opp mot de ulike risikokategoriene.
Risikokategoriene går fra uakseptabel risiko, høyrisiko, begrenset risiko til minimal risiko. De ulike kategoriene krever ulike reguleringer, fra forbud til lovlig under strenge, begrensede og få eller ingen vilkår. Se tabell 1 for mer utførlig informasjon om de ulike kategoriene og reguleringsformene.
Forpliktelser etter KI-forordningen avhenger av hvilken rolle virksomheten har i utviklingen eller bruken av KI. Forordningen skiller mellom utvikler (provider), distributør (distributor), importør (importer) og bruker (deployer).7 De fleste norske virksomheter vil bruke KI i egenskap av å være bruker. Kravene til brukere vil avhenge av KI-systemets risikokategori. Krav til brukere av høyrisiko KI-systemer inkluderer:
• Vurdering av innvirkning på grunnleggende rettigheter før KI-systemet tas i bruk, hvis brukeren:8
◦ er en offentlig instans eller privat enhet som tilbyr offentlige tjenester.
◦ tilbyr essensielle private tjenester, inkl. vurdering av kredittverdighet, risikovurdering og prising av livs- og helseforsikring.
• Menneskelig tilsyn av personer med passende opplæring og kompetanse.
• Sikring av at prompts og annen inngangsdata er relevant for systemets bruk.
• Verifisering av at KI-systemet er i samsvar med KI-forordningen og at all relevant dokumentasjon foreligger.
Kravene viser at det ikke kun er utviklere av KI-systemer som får betydelige forpliktelser overfor KI-systemets funksjon. Det gjelder også virksomheter som tar KI i bruk og inkluderer særskilte krav til opplæring i KI-systemene og dokumentasjon av hvordan systemet overholder KI-forordningen.
Selv om KI-forordningen ikke er implementert enda, opererer ikke KI i et juridisk vakuum i dag. Når virksomheten vurderer juridisk risiko, må den også se hen til teknologinøytral lovgivning.9 Virksomheter må dermed ha en god forståelse av de juridiske kravene som stilles til utvikling og bruk av KI. De bør ha et strategisk forhold til hva KI skal brukes til for å gjøre en kost-nytte-vurdering opp mot de forventede krav.
Foruten eksisterende eller fremtidig lovverk, er det nyttig for virksomheten å undersøke om det er relevante standarder som kan være nyttige for å enten sertifisere egen modell eller for å sjekke sertifisering av en modell virksomheten planlegger å bruke.10 Virksomheten må selv vurdere hva som er aktuelt for sin utvikling eller bruk av KI, som bransje, geografisk plassering, risikoprofil og kunnskapsnivå.
Etisk risiko og prinsipper for ansvarlig bruk av KI
For å forhindre etisk risiko, bør virksomheten handle i tråd med allment aksepterte prinsipper for etisk og ansvarlig bruk av KI. Det er til dels stort overlapp mellom det etiske og juridiske. Rettsreglene hviler gjerne på etiske hensyn, som rettferdighet, men overlappen er ikke perfekt; ikke alt som er umoralsk er ulovlig og ikke alt som er ulovlig er umoralsk.11 Etter en gjennomgang av forskningslitteraturen og eksisterende prinsipper for etisk og ansvarlig KI, har vi utarbeidet en egen liste bestående av sju prinsipper for ansvarlig KI.
De sju etiske prinsippene er ment å gi veiledning til virksomheter som vil utvikle og ta i bruk KI. De er ikke nødvendigvis uttømmende. Anvendelsen av prinsippene krever at en bruker dømmekraft. Et mye diskutert eksempel er KI-systemer som kan føre til diskriminering og marginalisering grunnet skjevheter og svakheter i data. Virksomheten har en plikt til å ta rimelige grep for å unngå at systemene forskjellsbehandler grupper. Dette er grunnet i flere av de etiske prinsippene, inkludert rettferdighet, selvbestemmelse, gode begrunnelser og forståelse (foruten å ha en side til gjeldende diskrimineringslovverk). Siden bruken av KI-systemer kan være til gode for virksomhetens brukere og tredjeparter, bør ikke etisk risiko skremme virksomheter fra å bruke KI. Også virksomheter som ikke tar i bruk KI kan handle i strid med etiske hensyn, og KI kan i beste fall hjelpe virksomheten i å redusere risikoen for diskriminering og annen problematisk forskjellsbehandling.
Oppgaverisiko og rutiner for bruk av KI
Bruk av KI kommer med en oppgaverisiko, altså en risiko for at virksomheten ikke løser virksomhetens oppgaver på en tilfredsstillende måte. Enten virksomheten skal bruke teknologien selv eller tilby KI-løsninger til andre, er det viktig at det er tydelig for brukerne hva KI-løsningen kan og ikke kan.
Før KI-modellen tas i bruk, bør virksomheten ta stilling til mulighetene og risikoene knyttet til bruken. På det grunnlaget kan en vurdere hvordan det er hensiktsmessig å ta den i bruk og om den i det hele tatt bør brukes.
God bruk av KI krever god kontroll av data. Hvis en trener egen KI-modell, er det vesentlig at en sikrer gode treningsdata. For eksempel, dersom dataene som modellen trenes på er fra en annen populasjon enn det modellen skal anvendes på, risikerer virksomheten upresise eller feil resultat fra modellen. En lite presis modell vil medføre flere feil, som kan gå utover virksomhetens evne til å utføre kjerneoppgavene.
Data som ikke er representative, har like fullt potensiale til å bli brukt såfremt virksomheten er bevisst på begrensningene. Forventede forskjeller mellom trening og bruk burde kartlegges så dette kan hensyntas i trening, testing, bruk og kommunikasjon av modellen.
Valg av KI-modell er avgjørende. I Standardens punkt 2.6 oppstiller vi derfor en sjekkliste for valg av KI-modell. Utviklere bør være klar over at KI-modeller introduserer nye sårbarheter i systemene til virksomheten. Den tryggeste måten å sikre at en KI-modell oppfører seg som ønsket, er å forstå bedre hvordan den fungerer: hvordan fatter den beslutninger og under hvilke omstendigheter tar den feil? Dette kan man oppnå med gode rutiner for testing og analyse av modellen under og etter trening.
Oppgaverisiko kan reduseres ved gode rutiner. Det er viktig at:
1. brukerne har god kunnskap om hva KI-modellene kan og ikke kan. Da er det mindre sjanse for at brukerne baserer seg for mye eller for lite på modellen eller bruker modellen på feil måte.
2. virksomheten bør lære opp brukerne av KI-modellen om hvordan de får mest ut av den og unngår å gjøre feil, der brukere læres opp i hvordan spørsmål og kontekst fremstilles på en måte som reduserer risikoen for negativt utfall, som for eksempel diskriminerende resultat.
3. KI bare benyttes der fordelene ved anvendelse, som økt effektivitet, overstiger nedsidene, som kostnadene for mennesker, samfunn og miljø.
4. virksomheten etablerer mekanismer for å kontrollere at KI brukes på måten de ønsker.
Hvordan skal virksomheter håndtere risiko?
Risiko er noe virksomheter må leve med. Null risiko er ikke praktisk mulig, hverken i næringslivet, offentlig sektor eller i samfunnet for øvrig. Risiko knyttet til utvikling eller bruk av KI må derfor ikke elimineres, men håndteres forsvarlig.14
Eiere, ansatte, kreditorer, kunder og resten av samfunnet vil forvente at virksomheten tar rimelige grep for å redusere risiko for at ulike hendelser inntreffer og for å håndtere situasjonen dersom risikoen inntreffer.
Hva som anses som rimelige tiltak for å håndtere risikoen vil i stor grad avhenge av en kost-nytte-analyse: Hvor mye vil et tiltak redusere risikoen, til hvilken kostnad for virksomheten og samfunnet? Noen tiltak koster mer enn det smaker i forhold til reduksjon i risiko oppnådd. Slike disproporsjonale tiltak bør som regel ikke gjennomføres. Blant proporsjonale tiltak bør de mest effektive tas i bruk.
I møte med risiko er det derfor sentralt at virksomheten:
1. Skaffer seg oversikt over og informasjon om risiko og kildene til risiko15
2. Skaffer seg relevant kompetanse for å håndtere risikoen
3. Fordeler ansvar for å håndtere KI og tiltak
4. Setter i verk tiltak for å håndtere eller minimere risiko
5. Identifiserer svakheter eller mangler i tiltakene, evaluerer og sikrer kontinuerlig forbedring i tråd med bruk og teknologisk utvikling
6. Får på plass gode styringssystemer for 1, 4 og 5 (governance) som reduserer risiko og skaper tillit hos eiere, brukere, ansatte og samfunn (noe som igjen reduserer risiko)
7. Kontinuerlig overvåker virksomhetens styringssystemer.
Virksomheten må i lys av den raske teknologiske utviklingen sørge for kontinuerlig oversikt over hvordan KI påvirker selskapet og i hvilken grad de ulike risikoene og risikokildene materialiserer seg. En slik fremgangsmåte vil kunne gi en ansvarlig bruk av KI.
Fire prinsipper for tillitvekkende kunstig intelligens
Om virksomheter tar i bruk KI på en ansvarlig måte, vil det gagne virksomhetene selv, så vel som brukere og samfunnet for øvrig. Det vil også sikre at samfunnets høye grad av tillit til næringsliv og offentlig sektor opprettholdes i møte med en disruptiv teknologi. For å sikre tillitvekkende kunstig intelligens, foreslår vi fire prinsipper virksomheter bør styre etter når de utvikler og bruker KI:
1. Formålstjenlig: Sørg for å bruke KI til å oppnå overordnede mål for virksomheten og at KI bare benyttes der fordelene ved bruken overstiger ulempene for virksomhet og samfunnet for øvrig.
2. Risikostyring: Virksomheten bør identifisere risiko og ha en systematisk tilnærming til å redusere risiko i tråd med den forventede nytten.
3. Hensyn: Hensynta etiske og juridiske hensyn i virksomhetens utvikling og bruk av KI og sikre at bruken er i tråd med regelverk, bransjestandarder og rimelige forventninger fra brukere og samfunnet.
4. Helhetlig: Sørg for at alle funksjoner i virksomheten og alle brukere får oppleve de positive effektene av KI.
