# Träffsäkerhet, öppet redovisad

> Se hur många svenska personuppgifter Maskera hittade, hur många som missades och exakt hur de aktuella testerna gjordes.
>
> Canonical: https://maskera.dev/traffsakerhet (sv) · en: https://maskera.dev/en/accuracy · Markdown: https://maskera.dev/traffsakerhet.md · Overview for agents: https://maskera.dev/llms.txt

Det viktigaste är hur många personuppgifter som står kvar efter maskeringen. Därför visar vi både F1 för exakta markeringar och fullständiga missar, med testtexter, metod och begränsningar öppna för granskning.

## Missar är det viktigaste måttet

En fullständig miss betyder att en personuppgift står kvar i klartext. Precision visar hur ofta en markering var rätt och recall hur stor andel av alla personuppgifter som hittades. F1 för exakta markeringar, även kallat span-F1, väger samman de två. Fullständiga missar redovisas separat.

## Aktuella testresultat

Den publicerade modellen mättes på syntetiska svenska testmängder 2026-08-06. Resultaten visar modellens kända styrkor och gränser.

blandade svenska testtexter: F1 / missar

96,9 % / 1 av 205

syntetiska adresser: F1 / missar

100,0 % / 0 av 57

## Jämfört med KBLab

Maskera är en liten svensk NER-modell byggd för lokal maskering. KBLab lowermix är en fullstor svensk BERT-modell vars blandning av skiftlägen gör den robustare på text utan versaler. Maskeras publicerade q4-modell på 43 MB och KBLab lowermix fp32 på 496 MB kördes 2026-08-11 på samma 121 syntetiska svenska texter med 211 namn, platser och organisationer. En uppgift räknas som maskerad när markeringen överlappar den; typ-F1 kräver dessutom rätt kategori.

### Ursprungligt skiftläge

Ursprungligt skiftläge
| System | Maskerade | Typ-F1 |
| --- | --- | --- |
| [Maskera v19 q4](https://huggingface.co/joelhagvall/maskera-sv-ner) | 211 av 211 (100,0 %) | 87,1 % |
| [KBLab lowermix fp32](https://huggingface.co/KBLab/bert-base-swedish-lowermix-reallysimple-ner) | 205 av 211 (97,2 %) | 89,4 % |

### Samma texter i gemener

Samma texter i gemener
| System | Maskerade | Typ-F1 |
| --- | --- | --- |
| [Maskera v19 q4](https://huggingface.co/joelhagvall/maskera-sv-ner) | 211 av 211 (100,0 %) | 85,7 % |
| [KBLab lowermix fp32](https://huggingface.co/KBLab/bert-base-swedish-lowermix-reallysimple-ner) | 187 av 211 (88,6 %) | 83,2 % |

Maskera maskerade samtliga 211 märkta namn, platser och organisationer i båda körningarna. KBLab hade högre typ-F1 med ursprungligt skiftläge; Maskera hade högre typ-F1 i gemener.

Testet är skrivet av Maskeras utvecklare och visar en riktning, inte en oberoende rankning. Gatuadresser och Maskeras efterbearbetning ingår inte.

## End-to-end-test med LogosGuard

LogosGuard är ett Chrome-tillägg för maskering i webbläsaren, inte en fristående NER-modell. Här jämförs därför hela LogosGuards filmaskeringsflöde med Maskeras kompletta lokala pipeline. Maskera v19 och LogosGuard 2.4.4 kördes 2026-08-14 på samma 258 syntetiska svenska texter med 952 märkta personuppgifter: bland annat namn, adresser, personnummer, samordningsnummer, telefonnummer samt myndighets-, vård- och juridiktext. LogosGuard kördes med gratisplanen och läget Balanced. Samma strikta mått användes för båda: en fullträff kräver att ingen bokstav eller siffra från den märkta uppgiften står kvar.

End-to-end-test med LogosGuard
| System | Fullt maskerade | Partiella läckor | Klartextmissar |
| --- | --- | --- | --- |
| [Maskera v19 q4](https://huggingface.co/joelhagvall/maskera-sv-ner) | 933 av 952 (98,0 %) | 8 | 11 |
| [LogosGuard 2.4.4](https://chromewebstore.google.com/detail/logosguard-ai-privacy-fil/hgcmlpgonpfegfdeijcngpdokpdpapam) | 606 av 952 (63,7 %) | 49 | 297 |

Maskera fullmaskerade 327 fler av de 952 märkta uppgifterna. Någon del stod kvar i 19 fall med Maskera och i 346 fall med LogosGuard — en skillnad på 34,3 procentenheter i fullträffsfrekvens.

Testmängden är syntetisk och skriven av Maskeras utvecklare, så resultatet är författarkopplat och inte en oberoende rankning. Korpusen är inte uttömmande märkt för precision. LogosGuards filexport förvanskade dessutom svenska UTF-8-tecken till Windows-1252-mojibake; tecknen återställdes före poängsättningen.

## Bredare historisk NER-jämförelse

GitHub-repots bredare modellkörning omfattar elva rader på samma 22 oberoende svenska Wikipedia-texter med 58 märkta personer, platser och organisationer. Konkurrenterna mättes 2026-07-04–2026-07-19 och Maskeras v18-rad mättes 2026-07-19. Överlapp räknas som maskerat; typ-F1 kräver även rätt kategori.

### Ursprungligt skiftläge

Ursprungligt skiftläge
| Modell eller bibliotek | Storlek | Maskeringsrecall | Typ-F1 |
| --- | --- | --- | --- |
| [Maskera student](https://huggingface.co/joelhagvall/maskera-sv-ner)Liten svensk NER-modell för lokal maskering | 43 MB | 97 % | 96 % |
| [KBLab lowermix reallysimple-ner](https://huggingface.co/KBLab/bert-base-swedish-lowermix-reallysimple-ner)Svensk BERT-modell gjord för robustare skiftläge | ≈475 MB | 100 % | 94 % |
| [nbailab scandi-ner](https://huggingface.co/saattrupdan/nbailab-base-ner-scandi)Flerspråkig skandinavisk NER-modell | ≈500 MB | 100 % | 94 % |
| [KBLab neriob (IOB head)](https://huggingface.co/KBLab/bert-base-swedish-cased-neriob)Svensk BERT-modell med IOB-klassificeringshuvud | ≈475 MB | 100 % | 94 % |
| [KB-NER (the SUC classic)](https://huggingface.co/KB/bert-base-swedish-cased-ner)Klassisk svensk BERT-modell tränad på SUC | ≈475 MB | 100 % | 92 % |
| [KBLab reallysimple-ner](https://huggingface.co/KBLab/bert-base-swedish-cased-reallysimple-ner)Svensk skiftlägeskänslig BERT-modell för NER | ≈475 MB | 98 % | 91 % |
| [RecordedFuture Swedish-NER](https://huggingface.co/RecordedFuture/Swedish-NER)Svensk NER-modell tränad på internet- och forumtext | ≈500 MB | 100 % | 88 % |
| sbx PII general / detailed[general](https://huggingface.co/sbx/KB-bert-swedish_PI-detection-general-iob)[detailed](https://huggingface.co/sbx/KB-bert-swedish_PI-detection-detailed-iob)Två KB-BERT-modeller med ett annat PI-etikettschema | ≈475 MB | 5 / 10 % | 10 / 19 % |
| [Rampart (nationaldesignstudio)](https://huggingface.co/nationaldesignstudio/rampart)Liten flerspråkig PII-modell för webbläsaren | 14,7 MB | 34 % | 42 % |
| [Desert Ant redact (multilingual)](https://huggingface.co/desert-ant-labs/redact)Flerspråkig maskeringsmodell som körs på enheten | 13 MB | 36 % | 53 % |
| [swedish-pii (regex + name lists)](https://github.com/okasi/swedish-pii)Regler och svenska namnlistor, inte en AI-modell | 2,5 MB | 50 % | 52 % |

### Samma texter i gemener

Samma texter i gemener
| Modell eller bibliotek | Maskeringsrecall | Typ-F1 |
| --- | --- | --- |
| [KBLab lowermix reallysimple-ner](https://huggingface.co/KBLab/bert-base-swedish-lowermix-reallysimple-ner) | 97 % | 90 % |
| [Maskera student](https://huggingface.co/joelhagvall/maskera-sv-ner) | 95 % | 91 % |
| [RecordedFuture Swedish-NER](https://huggingface.co/RecordedFuture/Swedish-NER) | 83 % | 82 % |
| [nbailab scandi-ner](https://huggingface.co/saattrupdan/nbailab-base-ner-scandi) | 69 % | 77 % |
| [KB-NER (the SUC classic)](https://huggingface.co/KB/bert-base-swedish-cased-ner) | 28 % | 35 % |
| [KBLab reallysimple-ner](https://huggingface.co/KBLab/bert-base-swedish-cased-reallysimple-ner) | 29 % | 39 % |
| [KBLab neriob (IOB head)](https://huggingface.co/KBLab/bert-base-swedish-cased-neriob) | 24 % | 33 % |
| [Desert Ant redact (multilingual)](https://huggingface.co/desert-ant-labs/redact) | 24 % | 39 % |
| sbx PII general / detailed[general](https://huggingface.co/sbx/KB-bert-swedish_PI-detection-general-iob)[detailed](https://huggingface.co/sbx/KB-bert-swedish_PI-detection-detailed-iob) | 9 % | 16 % |
| [swedish-pii (regex + name lists)](https://github.com/okasi/swedish-pii) | 0 % | 0 % |

I den daterade v18-körningen hade Maskera högst typ-F1 på text med ursprungligt skiftläge. I gemener hade KBLab lowermix högst maskeringsrecall, medan Maskera hade högst typ-F1.

Det här är historiska v18-resultat och ska inte läsas som v19-scores. Den oberoende råkorpusen togs bort före den integritetssäkra v19-releasen, så aggregaten är bevarade för transparens men kan inte reproduceras dokument för dokument från dagens checkout. Separata systemtester med bland annat Presidio, Privacy Filter, EU PII Safeguard och Blindfold använder andra körningar och redovisas i BENCHMARKS.md.

## Så ska resultaten tolkas

I testet med syntetiska adresser lämnades ingen av de märkta uppgifterna helt i klartext. I testet med blandade svenska texter missades 1 av 205.

Den enda missen var en bred offentlig geografisk region, inte en person, kontaktuppgift, identifierare eller gatuadress.

Alla 35 gatuadresser hittades med exakt markering, inklusive husnumret.

## Det här visar testerna inte

- Testmängderna är syntetiska eller författarkopplade. De används för att stoppa försämringar, inte som ett oberoende betyg på all svensk text.
- Ingen automatisk maskering är perfekt. Ovanliga namn, OCR-brus och formuleringar långt från träningsdatan kan missas. Låt en människa kontrollera texten när ett fel kan få stora konsekvenser.
- De här korpusarna mäter fri text. Strukturerade identifierare som personnummer och IBAN hanteras av regelmotorn och ingår inte i dessa modelltester.

## Källor och reproduktion

Publicerade maskera-sv-ner v19 (q4, cirka 43 MB) mättes på de syntetiska releasegrindarna 2026-08-06.

Testtexter, metod, körskript och de fullständiga Maskera-resultaten finns i det öppna repot. BENCHMARKS.md är källan som gäller om en siffra någon annanstans skulle skilja sig.

- [Läs benchmark-källan](https://github.com/joelhagvall/maskera/blob/main/docs/BENCHMARKS.md)
- [Öppna den maskinläsbara LogosGuard-körningen](https://github.com/joelhagvall/maskera/blob/main/docs/benchmark-logosguard-2.4.4.json)
- [Se LogosGuard-scorern](https://github.com/joelhagvall/maskera/blob/main/bench/score-logosguard-domain.mjs)
- [Öppna den maskinläsbara KBLab-körningen](https://github.com/joelhagvall/maskera/blob/main/docs/benchmark-kblab-v19.json)
- [Se körskriptet](https://github.com/joelhagvall/maskera/blob/main/training/benchmark_competitors.py)
- [Prova den aktuella modellen i webbläsardemon](https://maskera.dev/)

[Öppen källkod](https://github.com/joelhagvall/maskera) · [Egentränad svensk AI-modell](https://huggingface.co/joelhagvall/maskera-sv-ner)

- [Träffsäkerhet](https://maskera.dev/traffsakerhet)
- [Säkerhet](https://maskera.dev/sakerhet)
- [Integritet & transparens](https://maskera.dev/integritet)
- [Integritetspolicy](https://maskera.dev/integritetspolicy)
- [Testdata](https://maskera.dev/testdata)
- [Om & kontakt](https://maskera.dev/om)
- [Whitepaper (PDF)](https://maskera.dev/whitepaper.pdf)

En produkt från [Hägvall Labs AB](https://hagvall-labs.com).