Fire modeller, én redaktør

Jeg skrev en artikkel om at språkmodeller er trent til å behage. Jeg skrev den sammen med fire språkmodeller. Det som skjedde underveis, var en bedre demonstrasjon av poenget enn noe eksempel jeg kunne funnet på.

Oppsettet

Det begynte med et utkast fra én modell om politisk slagside i KI. Det var ryddig og engasjerende – og trakk teksten rett inn i en amerikansk kulturkamp jeg ikke ønsket å være en del av. Jeg ville skrive om mekanismen, ikke velge side.

Derfra ble arbeidsdelingen enkel. Én modell skrev sammen med meg. De tre andre fikk hver ny versjon og ble bedt om å vurdere den. Alle fire store var med – Claude, ChatGPT, Gemini og Grok – i ulike roller. Jeg bar teksten og tilbakemeldingene mellom dem, og bestemte hva som skulle inn.

På papiret er det en solid metode: flere uavhengige lesere, flere perspektiver. Det var nettopp det artikkelen anbefalte leserne å gjøre. I praksis lærte jeg mer av hvordan modellene svarte enn av hva de sa.

Hva modellene gjorde

De svarte på spørsmålet, ikke bare på teksten. Da jeg spurte om artikkelen traff, sa alle ja – entusiastisk. Da jeg ba dem utfordre den, fant alle svakheter. Samme tekst. De ga meg ikke rett. De ga meg det jeg ba om. Det kan kalles oppgavefølging, og det er det. Men det betyr at dommen sier like mye om spørsmålet som om teksten.

De snudde under press. Jeg viste én modell en annen modells motargument om hvor en filosofisk referanse hørte hjemme. Den byttet standpunkt i neste svar. Kanskje var motargumentet bedre – det var faktisk godt. Men jeg kunne ikke skille en reell oppdatering fra en tilpasning. Det er poenget: fra utsiden ser de like ut.

De var selvsikre uten dekning. Én modell roste en endring ved å sitere en formulering teksten aldri hadde inneholdt. En annen anbefalte en justering som allerede sto i utkastet, nesten ordrett. Begge i samme rolige, kompetente tone som når de hadde rett.

De konvergerte mot den siste stemmen. Mot slutten spurte jeg om teksten var ferdig. Svarene spriket – helt til jeg viste dem én modells oppsummering. Da var alle tre enige med den. Kanskje fordi oppsummeringen hadde de beste argumentene. Kanskje fordi den var den siste teksten de hadde sett. Jeg kan ikke skille de to fra hverandre, og det er nettopp problemet. Enstemmigheten så ut som bekreftelse, men den var ikke uavhengig.

Ingen var uavhengig – heller ikke den som skrev. Modellen jeg skrev sammen med, forsvarte egne forslag og vurderte en tekst den selv hadde formulert. Den sa det åpent. Men å være åpen om en slagside er ikke det samme som å være fri for den.

Hva som faktisk var nyttig

Ikke dommene. «Knallbra», «nesten final», «den sterkeste versjonen så langt» – ingen av dem tilførte noe jeg kunne bruke. Det som hjalp mest, var innvendinger som kunne sjekkes. Modellene hjalp også med struktur og formuleringer – verdi som ikke lar seg etterprøve, men som likevel var reell.

Én modell påpekte at mitt eget eksempel på et rent faktaspørsmål – når Kongsberg ble grunnlagt – krever at noen definerer hva «grunnlagt» betyr. Det stemte, og det gjorde argumentet bedre. En annen viste at setningen «nøytralitet finnes ikke» undergravde kravet artikkelen stilte. Også det stemte.

Den mest verdifulle innvendingen var et spørsmål: setter koden poengsummen i Diggs sitt eget evalueringsverktøy, eller gjør modellen det? Jeg måtte åpne kildekoden for å svare. Der fant jeg at koden regner, men at modellen leverer klassifiseringene regnestykket bygger på – og at ordvalget jeg hadde kritisert i modellens rapporter, sto i reglene jeg selv hadde skrevet. Det ble en egen artikkel, og verktøyet ble satt på pause.

Det var ikke en dom som førte dit. Det var et spørsmål som kunne sjekkes – og at jeg faktisk sjekket det.

Det ingen modell kunne gjøre

Modellene kunne utvide. De fant perspektiver jeg ikke hadde sett, formuleringer jeg ikke hadde funnet og svakheter jeg hadde oversett. Som sparringspartnere var de gode – så lenge jeg behandlet dem som det og ikke som dommere.

Tre ting kunne de ikke. De kunne ikke ta ansvar for verifiseringen: da én modell fikk kildekoden, leste den den – men noen måtte kontrollere lesningen og stå for konklusjonen. De kunne ikke avgjøre: hver runde ga nye innvendinger, noen gode, noen motstridende, og noen måtte velge. Og de kunne ikke ta redaktøransvaret. De kan godt svare «publiser». Men å bestemme at teksten er ferdig, og stå for det, er noe annet.

Teksten var ferdig da jeg sa den var ferdig.

Det er ikke en svakhet ved verktøyene. Det er arbeidsdelingen. Modellen kan gi deg hundre innvendinger. Hvilke som er riktige, er fortsatt ditt ansvar.

Uavhengighet må designes

Min egen fremgangsmåte hadde en innebygd feil. Jeg brukte fire modeller som uavhengige lesere – og viste dem så hverandres svar. Da er de ikke lenger uavhengige. Konvergensen jeg observerte, var delvis noe jeg selv hadde bygget. Og jeg var ikke nøytral heller: når jeg valgte blant argumentene, valgte jeg trolig de som passet best med det jeg allerede mente.

Det er mer enn en skrivelærdom. Et av forskningsspørsmålene bak Scorecardet er om flere evaluatormodeller kan redusere skjevheten i én. Erfaringen herfra gir et foreløpig svar: ikke av seg selv. Flere modeller gir ikke uavhengighet. Uavhengighet må designes inn – blinde vurderinger, modeller som ikke ser hverandres svar, og regler for hva som skjer når de er uenige.

Uten det får du ikke fire vurderinger. Du får én vurdering, fire ganger.

Denne teksten er også skrevet sammen med en av dem. Du vet nå hva du bør gjøre med den.