Loven som driver KI-utviklingen

Da GPT-2, OpenAIs språkmodell, kom i 2019 var det ingen i Norge som leet på et øyebryn. Modellen hadde store mangler og slet med å løse enkle regneoppgaver. De som fulgte med kunne imidlertid se konturene av noe som kunne revolusjonere samfunnet, et steg på veien mot kunstig generell intelligens; KI-systemer som kan utføre oppgaver på samme eller bedre nivå som mennesker.

I september 2024 ble modellen GPT-o1 tilgjengelig på markedet. Modellen gjør det nå bedre på avanserte tester i fysikk, kjemi og biologi enn folk med doktorgrad i fagene. Hvorfor så ikke vi dette komme når andre gjorde det? Og hvor vil det stoppe? Det er spesielt én ting som skiller de framsynte og de som blir tatt på senga. Det er om de forstår skaleringslovene.

Skaleringslovene er KI-utviklingens skitne hemmelighet. Det er størrelsen som teller. Mer data og datakraft gjør det mulig å trene KI-modellene lenger. Og jo mer de trenes, jo bedre KI-systemer får vi. Hvis skaleringen fortsetter vil modellene bli mye mer kapable på måter det er vanskelig å forutse.

De som tydeligst forsto skaleringslovenes makt var Deep Mind og OpenAI, selskaper som i dag leder utviklingen av kraftig KI. Men selv de som utvikler systemene blir overrasket over tilsynelatende kvalitativt nye ferdigheter. «Frem til vi trener modellen, er det som en morsom gjettelek for oss [hva den kan få til]», sier Sam Altman i OpenAI til Financial Times om den pågående treningen av GPT-5. Utviklingen av nye KI-systemer kan derfor oppleves som å lære å kjenne en fremmed intelligens mens de lages og etter at de slippes på markedet.

I Norge er det få som har fått øynene opp for skaleringens makt. Dårligst står det til i regjeringen. Trygve Slagsvold Vedum gjorde riktig nok et stort nummer ut av mulighetene i KI da han presenterte Perspektivmeldingen i august. Men leste du meldingen var det få tegn til at regjeringen forstår hvilke transformative virkninger KI kan få.

I det som beskrives som et optimistisk scenario, regnet økonomene i Finansdepartementet seg fram til at en kanskje kunne få ti prosent effektiviseringsgevinst i helsevesenet innen 2060. Til sammenligning anslår tusenvis av KI-eksperter at det er mer sannsynlig enn ikke at vi vil ha KI som kan utføre alle tenkelige arbeidsoppgaver bedre og billigere enn mennesker i 2047! Anton Korinek, en ledende økonom på feltet, anslår at «full automatisering er nådd innen 20 år», basert på analyser fra ledende KI-eksperter som Geoffrey Hinton.

Da regjeringen la fram digitaliseringsstrategien i slutten av september, var det likeledes få tegn til at statsminister Jonas Gahr Støre og digitaliseringsminister Karianne Tung forstår skaleringslovene og hvilke transformative konsekvenser KI kan få.

I den nye digitaliseringsstrategien vektlegges ikke skalering eller den formidable utviklingen i språkmodellene de siste årene. Da jeg møtte Tung til debatt i Dagsnytt 18 svarte hun at hun ikke trodde på de mest alvorlige scenarioene som forespeiles av ekspertene.

Hva vet den norske regjeringen som verdens ledende KI-forskere ikke har skjønt? Det er riktignok skjær i sjøen. En barriere for fortsatt skalering er at det blir mangel på data. Mye av dataen som er tilgjengelig på internett har allerede blitt brukt til å trene eksisterende modeller. Og det er store spørsmålstegn ved om KI-skapt data vil kunne forbedre modellene.

Et annet problem er mangelen på databrikker. Verdikjeden som lager databrikkene som brukes i KI-treningen er avhengig av noen veldig få selskaper. Det er ikke sikkert de vil greie å skalere opp tilbudet i tråd med etterspørselen.

Det er heller ikke sikkert at det vil være nok kraft tilgjengelig til videre skalering. Jo mer avanserte modellene blir, jo mer strøm krever de, i trening så vel som i bruk. Mange kritiserer KI for å være et energisluk og en fare for klima og en kan lure på om det neste «techlashet» vil orkestres av Greta Thunberg, framfor personverntilhengere.

Tross utfordringene, er det liten grunn til å tro at vi har sett de beste KI-modellene. Det investeres milliarder av dollar i de ledende teknologiselskapene og KI-skapt data har allerede blitt brukt til å forbedre Anthropics KI-modell. Epochs konklusjon er at «innen 2030 vil det med stor sannsynlighet være mulig å trene modeller som overstiger GPT-4 i skala i samme grad som GPT-4 overstiger GPT-2 i skala».

Hva kan vi forvente av en slik utvikling? En mulig konsekvens er enda større maktkonsentrasjon til teknologiselskapene. Det blir eksponentielt dyrere å lage nye modeller. Det er det bare noen få selskaper som har mulighet til.

Hvis den private pengestrømmen stopper opp, kan det godt hende statene, med sine utømmelige lommebøker, melder seg på i kappløpet om KI-herredømme. Kanskje er det tid for statens gjenkomst som industriutvikler?

Statene rundt oss forstår at for å styre og være forberedt på utviklingen, må man undersøke hvor utviklingen kan gå. Frankrike, Storbritannia, USA og en rekke andre land har opprettet KI-institutter, som blant annet skal følge med på utviklingen, tegne opp scenarioer, og komme med forslag til god politikk i møte med scenarioene.

Disse satsingene står i grell kontrast til regjeringens spede forsøk på å øke framsynskompetansen ved å opprette «et digitaliseringsforum der utviklingen i trender og samfunnet for øvrig drøftes årlig, blant annet med partene i arbeidslivet».

Ingen kan forutsi fremtiden. Men det vi vet er at den som ikke forstår skaleringslovene vil være hjelpeløs i møte med KI-utviklingen.

‍