Et steg nærmere fakta­sjekk i sanntid

Tenk deg at du ser en debatt med Erna Solberg, Jonas Gahr Støre, Trygve Slagsvold Vedum og de andre partilederne. Hver gang en av politikerne kommer med en påstand, så popper det opp en boks på skjermen som forteller om påstanden er sann eller ikke. Det kan bli virkelighet i en ikke altfor fjern fremtid.

Etter at Bill Adair startet nettstedet PolitiFact i 2007 har han hatt en drøm om å kunne faktasjekke politikere på TV i sanntid. I samarbeid med forskere på Duke University har han nå tatt et langt steg mot å realisere drømmen.

I et innlegg på nyhetssiden til The Poynter Institute forteller Adair om erfaringene med Squash, et prosjekt som forsøker å skape et system for faktasjekk i sanntid. Prosjektet har lykkes med å skape en fungerende løsning, men har samtidig avdekket en rekke utfordringer som må løses før det kan brukes i praksis.

Faktasjekk er i utgangspunktet en krevende aktivitet. Når det i tillegg skal skje i sanntid blir det veldig mye mer komplisert.

Litt forenklet ser den automatiserte prosessen slik ut:

1. Konvertere tale til tekst
2. Tolke teksten og identifisere påstander
3. Finne fakta som påstanden kan sjekkes mot
4. Presentere resultatet

Etter fire år har prosjektet klart å lage en prototyp som fungerer i sanntid, og som i en del tilfeller gir riktig resultat. Det er imidlertid fortsatt flere uløste problemer i flere steg av prosessen, som av og til gir resultater som kan være både underholdende og direkte feil.

Squash bruker Google Clouds Speech-to-text-tjeneste til å konvertere tale til tekst. Det fungerer ofte bra, men gir noen komiske resultater innimellom. Setningen «The powerful storm that swept through Iowa last week» ble til «Armpit sweat through the last week».

For å tolke setningen og identifisere påstander bruker Squash ClaimBuster, en algoritme som fjerner tekst som ikke inneholder påstander om fakta. Da sitter systemet igjen med et utsagn som inneholder påstanden som skal faktasjekkes.

Selve faktasjekken gjør Squash ved å identifisere relevante faktasjekker gjenom ClaimReview, et merkesystem som blant annet brukes av Faktisk.no. Hvis systemet finner artikler som har sjekket påstanden tidligere, så velger det ut de tre beste treffene.

KOMMENTAR

Facebook får smake sin egen medisin

En av de store utfordringene er at Squash i en del tilfeller bommer på definisjonen av påstanden, slik at systemet leter etter feil faktasjekker. Forskerne antar det skyldes at Squash bommer på hvilke ord i utsagnet som er de viktige i påstanden, og at det derfor definerer påstanden som skal sjekkes feil. Donald Trumps påstander om Kina, økonomien og grensemuren mot Mexico hadde systemet sjelden problemer med å forstå.

Når Squash har funnet de tre beste faktasjekkene, er det en person som velger hvilken som skal publiseres på skjermen. Den manuelle operasjonen er lagt inn i prosessen for å luke ut de tilfellene hvor Squash feiltolker påstanden eller bommer av andre grunner.

En stor begrensning i systemet er at det baserer seg på at påstandene allerede er faktasjekket av noen andre. Det var spesielt tydelig i tilfeller der prosjektet forsøkte å faktasjekke lokalpolitiske debatter. Ofte fantes det ingen faktasjekker om påstandene som ble fremmet, og da fungerte ikke systemet. En tilsvarende utfordring er det grunn til å tro at systemet ville hatt i Norge.

En annen utfordring er hvordan resultatet skal presenteres på skjermen. Faktasjekken skal helst ikke ta oppmerksomheten bort fra selve sendingen. Den må være tydelig og lett forståelig for seeren, uten at den kan være for dominerende.

INNSIKT

Lite kjent regel hindrer spredning av nyhets­saker på Facebook

Timing er også et problem i en del tilfeller. Når en debattant kommer med flere ulike påstander i samme utsagn, er det utfordrende å gjøre det klart for seeren hvilken påstand faktasjekken gjelder. Hvis ikke timingen er riktig, kan faktasjekken forvirre seeren i stedet for å være oppklarende.

Selv om forskerne ved Duke University har tatt et langt steg mot en fungerende løsning med Squash, er det fortsatt en god stund til vi kan forvente å få faktasjekker på Solberg, Støre og Vedum i sanntid. Til det er det fortsatt for få påstander som faktasjekkes i Norge. Det er heller ingen grunn til at Faktisk.no skal frykte å bli automatisert bort med det første. Selv om Squash etter hvert får løst de tekniske utfordringene, vil de fortsatt være avhengig av at menneskelige faktasjekkere gjør jobben med å sjekke påstandene først.

I hvert fall frem til noen løser den utfordringen også.