Stemmen i min egen kode

Revidert 5. oktober 2026: Setningen om en gjennomgang av bryllup.diggs.no er byttet ut. Gjennomgangen gjelder nå diggs.no, og avhengighetene står på metodesiden.

I «Nøytralitet er et designvalg» skrev jeg at språkmodeller formes av regler leseren ikke ser. Så gikk jeg for å finne stemmen i mitt eget evalueringsverktøy. Jeg fant den – i min egen kode.

Paradokset

Da jeg lanserte Scorecardet i april, skrev jeg at poengsummen beregnes etter en deterministisk modell, og at det ikke er KI som bestemmer 7 eller 8 – det er arkitekturen. Det var misvisende.

Koden regner ut tallet. Språkmodellen får ikke lov til å skrive det; den setter inn en plassholder, og systemet fyller inn resten. Men regnestykket trenger input: om hver av de fire testene er bestått, om produktet kan aksepteres pragmatisk, og hvilken jurisdiksjon leverandøren hører til. Alt dette leverer modellen selv.

Koden kan låse regnestykket. Den kan ikke låse skjønnet som leverer tallene inn i det. Utgangstesten spør om det finnes en realistisk vei ut. Det er ikke en måling. Det er en vurdering. Og modellens klassifisering av én enkelt test kan flytte poengsummen.

Modellen bestemte altså ikke tallet, men den bestemte premissene tallet ble regnet ut fra. At prototypen var probabilistisk, visste jeg – det sto i den samme artikkelen, som et argument for hvorfor prosjektet trenger forskning. Men jeg plasserte usikkerheten i teksten og fremstilte tallet som skjermet fra den. Det var det ikke.

Hva jeg fant

I den forrige artikkelen brukte jeg to av Scorecardets egne evalueringer som eksempel. Modellen skrev at ChatGPT var «bevisst designet» som en ikke-overførbar tjeneste, og at Geminis økosystem var «iboende designet for å binde brukeren». Jeg pekte på at dette er påstander om hensikt, og at ingen av rapportene dokumenterer dem. Det står jeg ved. Men jeg gikk ikke langt nok tilbake for å finne ut hvor ordene kom fra.

Hensikten sto i regelen. Scorecardet har en overstyringsregel for utgangstesten. Hvis et produkt feiler fordi det er strukturelt innlåst, skal det aldri kunne aksepteres midlertidig. Jeg hadde definert strukturell innlåsing som at arkitekturen er bevisst designet for å hindre leverandørbytte. Modellen fant ikke opp ordet «bevisst». Den ble tvunget til å vurdere hensikt, fordi regelen min gjorde hensikt til det som avgjorde utfallet.

Tonen var bestilt. Instruksjonene ba modellen være direkte, aldri myke ned en konklusjon og aldri si at noe er komplekst. Det var et bevisst valg: et instrument som svarer «det kommer an på», er ubrukelig. Men det betyr at den rolige, kategoriske stemmen jeg kritiserte, var en stemme jeg selv hadde designet.

Én leverandør hadde en navngitt særregel. Regelen for transparenstesten presiserte at skytjenester skal vurderes ut fra det kunderettede API-laget, ikke hypervisoren under. Det er en rimelig presisering, og den burde gjelde alle. Men regelen gikk lenger for én leverandør: Hetzner Cloud, der diggs.no selv kjører, skulle bestå testen med mindre ny informasjon tilsa noe annet. Andre leverandører ble vurdert etter kriteriet. Hetzner fikk resultatet på forhånd. Om det endret utfallet, vet jeg ikke før evalueringene er kjørt på nytt. Men en regel som gir sin egen leverandør et forhåndsbestemt resultat, er et lodd på vekten, uansett hensikt.

Den norske teksten er en oversettelse. Evalueringen skrives på engelsk og oversettes deretter av en annen, mindre modell. Sitatene jeg brukte, var altså to modellag unna originalen. Enda en stemme, enda et sett med valg.

Hva jeg har endret

Overstyringsregelen spør ikke lenger om hensikt. Den spør om det finnes en realistisk vei ut innen doktrinens tidsrammer. Det er det doktrinen faktisk krever, og det er noe som kan vurderes uten å lese tankene til en leverandør.

Hetzner-unntaket er borte. Presiseringen om at skytjenester vurderes ut fra det kunderettede API-laget gjelder nå all infrastruktur som tjeneste, uten navn. Tidligere evalueringer av Hetzner bør kjøres på nytt under den nye regelen, og resultatet vil stå der uansett hva det blir.

Det som gjenstår, er å gjøre skillet synlig i selve rapporten: hva som er dokumentert, hva modellen slutter seg til, og hva doktrinen vurderer. Det er neste versjon.

Inntil den er klar, står Scorecardet på pause. Det er et valg, ikke stillstand. Et instrument med kjente svakheter i reglene bør ikke brukes til å ta beslutninger. Å la det gå videre ville vært å gjøre nøyaktig det jeg kritiserte: la en stemme snakke med mer autoritet enn den har dekning for. Når det kommer tilbake, lagres hver evaluering med hvilken regelversjon og hvilken modell som ga den, slik at gamle og nye resultater kan sammenlignes.

Stemmen som ikke kan fjernes

Det fristende svaret er å gjøre alt deterministisk. Det går ikke. Selv med temperatur null, faste regler og låst regnestykke vil noen måtte avgjøre om en vei ut er realistisk. Dette instrumentet kan ikke avgjøre om en migrasjon er realistisk uten skjønn. Stemmen kan ikke fjernes. Den kan bare gjøres synlig.

Det er det samme kravet jeg stilte til språkmodellene: ikke et svar uten perspektiv, men innsyn i reglene som formet det, mulighet til å etterprøve grunnlaget og frihet til å velge noe annet. Det kravet må jeg tåle selv. Jeg skrev reglene. Jeg er leverandøren. Den samme gjennomgangen har jeg begynt på for diggs.no selv. Avhengighetene står på metodesiden.

Det er dette prototype betyr. Ikke en unnskyldning for feil, men en forpliktelse til å finne dem – også når det er jeg som har laget dem.

Svakhetene jeg fant, er ikke et avvik fra prosjektet. De er prosjektet. Hvor i en evalueringskjede kan skjønn gjøres deterministisk, og hvor kan det bare gjøres synlig? Det er et forskningsspørsmål, ikke et kodeproblem.

Et instrument som ikke tåler å bli målt med sin egen målestokk, er ikke et instrument. Det er en mening med skala.