Studie · 8 oktober 2026
The same question, three ways
En AI-modell besvarade 39 regelfrågor, varav 36 med svar i regeltexten, på tre sätt: ur minnet, med webbsökning och med MetLex. Vad den fick rätt, och hur lång tid det tog.
Joakim Platbarzdis, Mettle AB
| Ur minnet | Med webbsökning | Med MetLex | |
|---|---|---|---|
| Rätt artikel och punkt | 26 av 36 | 36 av 36 | 36 av 36 |
| Länk till den officiella källan | 31 av 36 | 32 av 36 | 36 av 36 |
| Svarstid, median | 16,8 s | 48,2 s | 15,0 s |
| Läst text per fråga, median | 240 tokens | 58 385 tokens | 6 619 tokens |
Vad studien visade
- 36 av 36 rätt med MetLex och med webbsökning; 26 av 36 ur minnet, med de flesta missarna i de tekniska standarderna, de svenska reglerna och Q&A-svaren.
- Webbsökningen kom dit genom att läsa: cirka nio gånger så mycket text som med MetLex, och cirka tre gånger så lång tid.
- I de tre frågorna utan svar i regeltexten sa alla tre sätten att svaret saknas.
- Ur minnet blev citaten inexakta: om DORA artikel 11.6 a skrev modellen ”policy” där den engelska texten säger ”plans”.
- Ett exempel på hur mycket som lästes: för att citera en paragraf i FFFS 2014:4 läste webbsökningen 208 165 tokens på 92 sekunder; med MetLex 8 302 tokens på 13 sekunder.
Så mättes det
- De tre sätten
- En modell, Claude Opus 5.5 med standardinställningar, besvarade varje fråga tre gånger: utan verktyg; med webbsökning och hämtning, högst åtta av varje per fråga; och med MetLex anslutet som verktyg via MCP (Model Context Protocol), som returnerar ordagranna avsnitt med hänvisning, länk och datum för ögonblicksbilden.
- Frågorna
- 31 arbetsfrågor av det slag en compliancefunktion ställer (DORA och dess tekniska standarder, dataskyddsförordningen, FFFS på svenska, EBA:s Q&A) och 8 kända fällor från en tidigare Mettle-rapport, där ett svar ur minnet blir fel. 36 har ett svar i regeltexten, 3 har det inte.
- Bedömningen
- Automatisk, mot den officiella texten som den är inläst i MetLex från EUR-Lex, fi.se och ESA:s Q&A-sidor: rättsakt, artikel och punkt ska stämma, och länken ska vara officiell. Varje miss lästes för hand.
Begränsningar
- Varje fråga ställdes en gång per sätt, till en och samma modell. En ny körning eller en annan modell ger andra siffror.
- Joakim skrev frågorna så att varje förväntat svar finns i MetLex. Det gynnar MetLex; en fråga utanför underlaget skulle gynna webbsökningen.
- Arbetsfrågorna och fällorna kördes var för sig, och en rättelse av texten i dataskyddsförordningen kom in i MetLex däremellan, så i den första körningen citerade MetLex enda svar om det avsnittet den orättade texten.
- Mettle säljer MetLex. Frågorna, svaren, bedömningen och rådata sparas med körningen, så att den kan upprepas och granskas.
Den här sidan är en sammanfattning. Hela rapporten, med varje fråga och resultat, håller på att revideras. Be om ett exemplar. Be om rapporten
Hör av dig
Två rader räcker. Du får svar via e-post inom två arbetsdagar.
hello at mettle.se