Forskare ska granska AI:s förklaringar

AI kan ge svar som verkar övertygande, men det är inte alltid säkert att förklaringen stämmer. I ett nytt forskningsprojekt vid Jönköping University (JU) ska forskare undersöka hur logiska resonemang kan användas för att kontrollera och förbättra AI:s förklaringar.

tjej som läser på en datorskärm

Dagens AI-system har fortfarande svårt att visa hur de kommer fram till sina svar. När vi ber ett AI-system att redogöra för sitt resonemang kan förklaringen vara bristfällig eller till och med felaktig. Det beror bland annat på att många AI-system bygger på mönster som de har lärt sig från stora mängder data, snarare än på logiska resonemang.

Forskarna ska studera så kallat abduktivt resonemang. Enkelt uttryckt innebär det att utgå från något man observerar och försöka hitta en rimlig förklaring. Om någon exempelvis har ett paraply kan en förklaring vara att det regnar. Men om ny information visar att det inte regnar behöver förklaringen kunna ändras.

– Vi vill utveckla metoder som kan kontrollera om ett AI-systems förklaring verkligen är korrekt. Om förklaringen innehåller mindre fel är målet också att den ska kunna repareras, säger Johannes Schmidt, docent och universitetslektor i datateknik på Tekniska högskolan vid Jönköping University och projektledare för det nya projektet.

Vill lägga grunden för mer tillförlitlig AI

Forskarna ska angripa problemet på två sätt. Det ena är att utveckla en metod som kan granska AI-systemets förklaring och upptäcka och rätta fel. Det andra handlar om att försöka förstå vad som händer inne i ett neuralt nätverk när AI-systemet kommer fram till sitt svar.

Hur AI:s förklaringar kan kontrolleras och rättas är fortfarande ett område med stort forskningsbehov och många frågetecken. Forskarna vill därför utveckla en teoretisk grund och nya metoder som på sikt kan bidra till AI-system vars svar och förklaringar blir lättare att granska och bedöma.

– AI-system blir snabbt mer avancerade, men deras förmåga att ge tillförlitliga förklaringar utvecklas inte i samma takt. Därför behöver vi bygga en stabil teoretisk grund för AI-system som inte bara ger svar, utan också kan förklara och motivera dem på ett sätt som går att kontrollera, säger Johannes Schmidt.

Projektet leds av Johannes Schmidt, docent och universitetslektor i datateknik på Tekniska högskolan vid Jönköping University och finansieras av Vetenskapsrådet med 4,3 miljoner kronor.

Projektet är planerat att pågå i fyra år och omfattar även en doktorand. Forskningen genomförs på Tekniska högskolan vid Jönköping University i samarbete med forskare från Linköpings universitet.

2026-11-11