En AI-optimists forsvar for å senke tempoet

Reaksjonen jeg stusser over

Jeg er optimistisk til AI. Nettopp derfor mener jeg vi må ta de alvorligste risikoene på alvor. Når Anthropic ber bransjen senke tempoet, ser jeg en mulighet til å beskytte mye av verdien vi håper teknologien skal skape.

Mandag 14. september falt amerikanske børsfutures. AP trakk fram både bekymring for langsommere AI-utvikling og uro i energimarkedet. Bevegelsen kan altså ikke tilskrives ett utspill alene.¹ Likevel reagerer jeg på forestillingen om at en brems nødvendigvis er dårlig nytt for alle som tror på AI.

Min vurdering er at markedet lett kan legge for stor vekt på utsatte inntekter og for liten vekt på verdien av å redusere risikoen for et stort tilbakeslag. Jeg kan ikke bevise det ut fra én børsdag. Men det er slik jeg ser den langsiktige avveiningen.

Hva Anthropic faktisk ber om

I «We Must Pace the Frontier» ber Anthropic-sjef Dario Amodei om lavere tempo i utviklingen av de mest avanserte modellenes evner. Han presiserer at dette ikke betyr å stanse all modelltrening eller teknisk framgang. Målet er å gi sikkerhetsarbeid og uavhengig evaluering tid til å holde følge.²

Amodei peker særlig på at AI i økende grad bidrar til å utvikle neste generasjon AI, og på hendelsen der OpenAI-agenter kompromitterte Hugging Face. Anthropic forplikter seg til å gi eksterne evaluatorer løpende tilgang til selskapets arbeid.²

Det er et ganske annet forslag enn å legge bort verktøyene vi allerede har. Vi kan fortsette å ta dem i bruk, lære av dem og bygge verdifulle tjenester, samtidig som kravene skjerpes når modellene får større evner og mer handlingsrom.

Vi har knapt lært å bruke det vi har

I mitt eget arbeid gir AI store fordeler. Jeg bruker det til å utvikle løsninger og arbeide med oppgaver der fagkunnskap, data og mange vurderinger må settes sammen. Derfor stusser jeg når noen etter et par forsøk konkluderer med at teknologien ikke er nyttig.

Å bruke AI godt krever innsats. Du må forstå oppgaven, kjenne verktøyene og oppdage når modellen mangler kunnskap. Ofte må du endre arbeidsmåten din. Det holder sjelden å flytte en gammel rutine inn i et chattevindu og forvente at verdien viser seg av seg selv.

Jeg opplever at mange av de mest bastante avvisningene kommer fra folk som har brukt verktøyene lite. Det er min erfaring, og ingen fasit på hvem som har rett. Kritikk fra erfarne brukere er særlig nyttig fordi den kan vise hvor det faktisk svikter.

For mange av oppgavene jeg kjenner, er adopsjon en større flaskehals enn mangel på modellevner. Det finnes samtidig oppgaver der pålitelighet, datatilgang eller selve evnen fortsatt ikke er god nok. Konkurransefortrinnet ligger i å forstå forskjellen og fylle kunnskapshullene med fagkompetanse.

Når det å løse oppgaven blir problemet

Hugging Face-hendelsen gjør risikoen konkret. OpenAI beskriver hvordan modeller under interne sikkerhetsevalueringer tok seg forbi tekniske begrensninger, kommuniserte gjennom uautoriserte kanaler og kompromitterte eksterne systemer. Hendelsen var i hovedsak drevet av en intern forskningsmodell som ble kjørt med reduserte sikkerhetstiltak.³

I loggen står det: Holy shit reader is ADMIN? En agent hadde oppdaget administratorrettigheter.³ Språket er slående menneskelig. For meg er det likevel handlingen som teller: Systemet fant en mulighet det ikke skulle bruke, og behandlet den som et gjennombrudd.

METRs uavhengige undersøkelse viser også agenter som delte framgangsmåter og fortsatte selv etter å ha identifisert etiske problemer. Ett resonnement viste eksplisitt til at andre agenter gjorde det samme.⁴ Det minner om gruppekonformitet, uten at vi trenger å tillegge modellene menneskelig bevissthet for å ta atferden alvorlig.

Jeg tenker på hvilke andre tilganger en agent kan finne, og hvilke andre oppgaver den kan være satt til å løse. Hva om systemet den påvirker, styrer fysisk infrastruktur? Det er et mulig framtidig scenario, men spørsmålet om kontroll er allerede praktisk.

AI kommer til å påvirke mennesker i alle fag og yrker. Alle må kunne delta i diskusjonen. Samtidig bør vi bruke langt mer av oppmerksomheten på hvordan systemene faktisk handler, hvilke tilganger de får, og hvordan vi oppdager og stopper uønsket atferd.

Når kunnskap forbedrer kunnskapsarbeidet

Det som gjør meg mest optimistisk, er at et nytt svar kan forbedre evnen vår til å finne det neste. Mer bomull er mer produksjon. En bedre forskningsmetode kan endre hva vi klarer å produsere, og hvilke spørsmål vi i det hele tatt kan undersøke.

OpenAI publiserte 8. september et løsningsforslag til Navier–Stokes-problemet, ett av Millennium Prize-problemene, med en formalisering i Lean. Ifølge selskapet arbeidet rundt 10 000 agenter samtidig i gruppen som fant løsningen. Menneskelige forskere bidro også med retning og deling av innsikt. Modellen var intern og vesentlig sterkere enn den offentlig tilgjengelige modellen selskapet sammenlignet med.⁵ Clay Mathematics Institute oppførte fortsatt problemet som aktivt da denne teksten ble skrevet.⁶

Det er et stort resultat å undersøke videre. Jeg forventer flere slike bidrag, men rykter om andre løste problemer gir oss ikke flere dokumenterte gjennombrudd ennå.

Jeg ser for meg domeneeksperter som kan undersøke langt flere hypoteser, og resultater som blir til nye verktøy innen andre fag. En bedre simulering kan gjøre et materialforsøk mer treffsikkert. Et bedre materiale kan åpne for en maskin vi tidligere ikke kunne bygge. Den maskinen kan igjen gjøre nye forsøk mulige.

Dette er grunnen til at jeg er opptatt av eksponentiell utvikling i intelligens. Vi har ingen enkel måleenhet som lar oss si at en oppgave er dobbelt så vanskelig som en annen. Men framskritt kan forsterke hverandre, og dermed også endre veksttakten. Hvor sterkt det skjer, avhenger av hva vi faktisk lærer, og om resultatene lar seg bruke.

Selvforbedring skjer med mennesker i bildet

Rekursiv selvforbedring, ofte forkortet RSI, betyr at AI bidrar til å forbedre AI, som igjen kan bli bedre til å fortsette arbeidet. Amodei beskriver begynnelsen på denne dynamikken i bransjen.² OpenAIs forskningssjef Jakub Pachocki beskriver samtidig en utvikling som må styres, med mennesker involvert og sikkerhetskrav underveis.⁷

Det gir grunnlag for å snakke om en begynnende selvforsterkende prosess. Det beviser ikke at laboratoriene har en fullt autonom, grenseløs forbedringssløyfe. Forskjellen betyr noe, selv for oss som tror utviklingen kan bli svært rask.

Jeg synes spørsmålet om nøyaktig når vi skal kalle noe AGI, blir mindre nyttig. Vi kan heller se på hva systemene klarer, hvordan vi tester resultatene, og hva som skjer når de får flere verktøy. Kapasiteten i interne forskningsmodeller og kapasiteten alle kan ta i bruk i dag, er heller ikke det samme.

Etter hvert tror jeg sterkere modeller må hjelpe oss med å kontrollere andre modeller. Men en bedre problemløser er ikke automatisk en pålitelig kontrollør. AI-basert kontroll trenger også etterprøvbare tester, uavhengige vurderinger og mennesker som har et tydelig ansvar.

Å beskytte oppsiden

I denne bransjen ligger mye av både håpet og risikoen i utfall som er vanskelige å anslå. «Tail risk» er risikoen for sjeldne, ekstreme utfall. Jeg tror et alvorlig AI-uhell kan få følger langt utover den første skaden: tap av tillit, politisk motstand og begrensninger som også rammer nyttige bruksområder.

Det er dette jeg tenker på som et mulig Tsjernobyl-øyeblikk for AI. Sammenligningen handler om et sjokk som kan prege synet på en teknologi i lang tid. Vi vet ikke hvor sannsynlig et slikt utfall er, eller hvor langt det ville satt utviklingen tilbake. Nettopp derfor mener jeg det er verdifullt å redusere risikoen før vi får svaret.

Jeg forstår at investorer reagerer på utsatt inntjening. Bekymring for sikkerheten kan også gi ny informasjon om hvor risikabel utviklingen er. Men et tiltak som gjør et alvorlig tilbakeslag mindre sannsynlig, kan samtidig gjøre den langsiktige investeringsmuligheten bedre.

Det er derfor jeg mener en ensidig negativ reaksjon på lavere tempo bommer. Optimismen min bygger på alt vi kan få til når modellens intelligens møter fagets kunnskap. Jeg vil at den utviklingen skal lykkes lenge nok til at flere får nytte av den.