VG klar med første KI-tjeneste uten «human in the loop»: – Risiko for at det blir feil

VG har siden januar jobbet og testet KI-genererte oppsummeringer på front sammen med Schibsted AI Lab. 

Kort forklart er det en oppsummering av alt VG har dekket siden sist brukeren var inne.

– Det er en liten tjeneste, men en stor KI-revolusjon ut mot brukerne. Den fyller et brukerbehov vi har hatt i mange år, som vi kan bruke KI til å løse. Det er mye som gjenstår, men vi er godt på vei, sier Marcus Husby, redaksjonssjef for KI i VG.

Testingen begynte først for kun én prosent av brukerne. Nå er andelen oppe i 50 prosent. I løpet av uka er planen at alle skal få boksen med oppsummeringer på front.

– Det er en oppsummering av alt vi har dekket siden forrige gang du var inne. Så får du det bare hvis det er mer enn åtte timer siden du var inne, forteller Johannes Gorset.

Kan gjøre feil

Tjenesten er VGs første ut mot brukeren som ikke har en «human in the loop», altså en journalist som ser over og godkjenner.

– Når vi skal løse problemet for så mange brukere som har et så ulikt bruksmønster, så er det ikke gjennomførbart. Vi har ikke nok folk til å gjøre det, forteller Gorset, og utdyper:

– Vi har sett på hvordan vi reduserer risiko. Vi har en feed med hva den til enhver tid sier og hvilke sakskomplekser den dekker. Vi har en tilbakemeldingsmekanisme som gjør at man raskt oppdager hvis det er noe som er feil og kan rette det.

– Men er det likevel en risiko for at det blir feil?

– Ja, det er klart. Absolutt. Det er en risiko for at det blir feil, sånn som det alltid vil være.

Gorset forteller at til nå har det ikke vært noen skikkelig alvorlige feil.

– Det er jo godt, men jeg er helt sikker på at det også kommer til å skje på et tidspunkt. Da må vi håndtere det på en ryddig måte, slik som vi alltid gjør i VG, om det er KI eller ikke, sier han.

Husby skyter inn at verktøyet tar utgangspunkt i ting VG har publisert, og at den derfor ikke skriver noe helt nytt.

Men den kan hallusinere, bekrefter Gorset.

– Men den tar utgangspunkt i kun innhold som VG har skrevet. Siden det er flere lag med språkmodeller, reduserer vi risikoen for at hallusinering skjer. Den blir fortsatt ikke null, men den blir mye lavere enn hvis du bare spør ChatGPT direkte om hva har skjedd i verden siden sist, forklarer han.

Balanse

Selv om tjenesten kan gjøre feil, velger de likevel å tilby det til brukerne. Noe av grunnen er responsen de har fått under testingen.

– Hvis dette ikke hadde hatt så god respons, så hadde vi kanskje tenkt at risikoen ikke er verdt det, forteller Gorset.

– Så du mener risikoen er verdt det?

– Jeg vil si at med de tallene her, så lever redaktørene og jeg godt med at dette er lovende nok til at vi ønsker å fortsette.

Han viser fram tall som viser at den siste uka var det 17,8 prosent klikkrate på «vis mer», med 50 prosent av brukerne som har fått opp boksen. Til sammenligning klikken en artikkel på forsiden i snitt 5 prosent, forteller han.

– Det er sjelden vi lager noe som er så annerledes fra en vanlig greie som klikker bedre enn 5 prosent. Det vitner om at her er det et eller annet brukerbehov, sier han.

De som klikker på boksen bruker i snitt 45 sekunder for å lese den. Sist uke ga også ca. 80 prosent tommelen opp på spørsmål om de føler seg oppdatert på nyhetene etter å ha lest boksen.

– Det er utrolig bra, og det vitner om at det funker, sier Gorset og fortsetter:

– Så er det masse jobb vi må gjøre for å gjøre utvalget bedre, og for å redusere risikoen for feil. Kanskje presentasjonen bør være annerledes. Det er jo bare tekst i dag. Men det virker som vi er i ferd med å løse et viktig bruker behov som vi har prøvd å løse lenge.

Amedia-toppen skal styrke utfordrerne: Mener hele bransjen ligger bakpå

BT med ny strategi: Skal omorganisere