Ny tilgang til at opdage AI-hallucinationer i realtid

Forskere har udviklet en metode til at opdage hallucinationer i AI-modeller, mens disse genererer tekst. Hallucinationer opstår, når en model opfinder information, fx navne, datoer eller kilder, der ikke eksisterer. Dette er et voksende problem, især i længere tekster, hvor AI ofte genererer mange detaljer.

Den nye metode fokuserer på entitetsniveau snarere end på hele påstande. Det betyder, at systemet kan markere enkelte tokens (ord eller tal), der ser ud til at være opdigtede, fremfor at kontrollere hele sætninger. Til dette har forskerne udviklet et datasæt, hvor en stor model med adgang til websøgning har markeret, hvilke dele af AI-genereret tekst der var korrekte eller opdigtede. Disse data blev brugt til at træne letvægtsklassifikatorer, kaldet linear probes, der kan opdage hallucinationer effektivt og billigt i realtid.

Real-Time Detection of Hallucinated Entities in Long-Form Generation

Detecting hallucinated entities in real-time using token-level probes.

Real-Time Detection of Hallucinated Entities in Long-Form GenerationOscar Obeso, Andy Arditi, Javier Ferrando, Joshua Freeman, Cameron Holmes, Neel Nanda