Overvågning, retssikkerhed og statistik

Tit og ofte når snakken går på logning og andre former for overvågning, får man at vide at det kun er de skyldige der har noget at frygte. Rent bortset fra de mere principielle og filosofiske årsager til at man kan være imod at lade sig masseovervåge (og selv hvis vi stoler på at en statsmagt der tit og ofte har skuffet, ikke vil vende overvågningen mod deres borgere), så er der en meget væsentlig - og ofte overset - grund til at det ikke kun er de skyldige der har noget at frygte. Den handler om statistisk.

Før vi kommer til statistikken skal vi lige have lidt på plads om vores retssystem. Det siges hér ofte at man er uskyldig indtil det modsatte er bevist. Dette er forkert af et par meget væsentlige årsager.

For det første er man naturligvis skyldig hvis man har begået den forbrydelse man sigtes for, og uskyldig hvis man ikke har - uafhængigt af beviser og dom. En kriminalretssag har ikke til formål at gøre en person skyldig eller ej, men at afgøre om en sigtet person faktisk skal regnes for skyldig. Hvis dette virker som detaljerytteri, er det ikke helt forkert, men detaljer er meget vigtige hér, og det er vigtigt at slå fast at vi har to forskellige skyldsbegreber i spil - ét der handler om hvorvidt man har begået forbrydelsen (lad os kalde det reel skyld), og ét der handler om hvorvidt man kan dømmes for den (og lad os kalde dette for juridisk skyld).

For det andet er beviser noget man har i matematikken, ikke i retsvæsenet. Hér har man mest af alt bare en samling indicier, og hvis man ud fra den samlede vægt af disse vurderer at det er meget usandsynligt at den sigtede er uskyldig, så bliver vedkommende dømt.

Så en mere korrekt, og knudret, formulering af princippet er at man juridisk set regnes for uskyldig indtil det er godtgjort at det er tilstrækkeligt usandsynligt at man ikke er skyldig.

På grund af den usikkerhed der er, kan man ikke altid garantere at en reelt skyldig person dømmes, og man kan ikke altid garantere at en reelt uskyldig person går fri. Dermed har vi følgende mulige udfald af en retssag:

Historisk set har en væsentlig del af det vi kalder "retssikkerhed" handlet om at undgå justitsmord.

Statistisk testteori

Dette bringer os så til statistisk testteori. Hér har man gerne en formodning (nul-hypotesen) man vil be- eller afkræfte ud fra indsamlede data. Nul-hypotesen kan være sand eller falsk, og den kan enten be- eller afkræftes.

Man indretter typisk sit test sådan at man finder sandsynligheden for at få de data (eller nogen der er værre) såfremt nul-hypotesen er sand - dette kalder man p-værdien for testet. Hvis p-værdien er meget lav, har man godtgjort at det er usandsynligt at nul-hypotesen er sand, og derfor afviser man den.

For lige at vende tilbage til det jura-analogien kan man under en retssag opfatte nul-hypotesen som formodningen om at den sigtede er uskyldig. Den beregnede p-værdi vil så være sandsynligheden for at man kan opbygge den mængde indicier man nu engang har, under antagelse af at vedkommende faktisk er uskyldig. Hvis det vurderes som meget usandsynligt at vedkommende kan være uskyldig, dømmes vedkommende.

Der er selvfølgelig et par steder analogien bryder sammen. Der beregnes ikke en faktisk sandsynlighed under en retssag - det er mere en implicit ting. Og hvor man i et statistisk test har et på forhånd fastsat niveau (signifikansniveauet - sættes typisk til 5 %) for hvor lav en p-værdi man vil acceptere, er det selvfølgelig umuligt at fastsætte et niveau for noget der ikke eksplicit udregnes.

Det betyder ikke at der ikke er undersøgelser - den sikkerhed man ønsker varierer fra person til person, og formentlig også fra sag til sag, men en tommelfingerregel er at folk kan dømmes hvis det er fastlagt med 90 % sikkerhed at de er skyldige. Der kan læses mere om det hér på videnskab.dk - og i de kilder de henviser videre til.

p-hacking og venner

Inden for mange felter der anvender statistik, har man et problem som man meget vel kan risikere i højere og højere grad at få inden for det juridiske felt. Problemet er at statistisk er svært, og at det ikke er alle der faktisk forstår hvordan det skal bruges.

Meget passende for nutiden illustreres det største problem sikkert bedst med en tegneserie:

Hvis man sætter et signifikansniveau på 5 % og tester 20 tilfældige sande nulhypoteser, vil man forventeligt (dvs. i gennemsnit) forkaste 1 af dem. Enhver statistiker vil af samme grund kunne fortælle at man ikke bare skal teste løs på tilfældige nulhypoteser, men at man før man laver et test, skal have en teoretisk begrundelse for at teste lige netop dén nulhypotese man vil undersøge.

Hvis man ikke gør det, ender man med at finde sammenhænge der ikke er der - tylervigen.com har en underholdende samling.

Et beslægtet problem nogen måske har hørt om, er fænomenet p-hacking, hvor man fortsætter en undersøgelse med ændrede parametre indtil man opnår en p-værdi under de magiske 5 %. Fivethirtyeight.com har en rigtig god artikel om problematikken - med et interaktivt p-hacking-værktøj, hvor man ved at ændre på parametre kan nå frem til den konklusion man måtte ønske.

Justitsmord på samlebånd?

Og nu er vi så ved sagens kerne. Der er en analogi i måden vores retssystem er opbygget og måden vi bruger statistik til at efterprøve hypoteser inden for en stor del af moderne videnskab, og dermed er der også mange af de samme faldgruber. I forskningen hvor man er opmærksom på de faldgruber, er der stadig masser af problemer og eksempler på (utilsigtet) misbrug. I juraen hvor det er mindre formaliseret, er der god grund til at frygte at opmærksomheden på problemerne er endnu mindre.

Og det er så hér vi ser det store problem med DNA-databaser og masse-logning og anden -overvågning som efterforskningsværktøjer. Store mængder data kan bruges korrekt. Det kan bruges til at give vægt til en sag mod en person der er mistænkt af andre grunde - baseret på klassisk efterforskning.

Men hvis det bruges forkert - ved at man tager udgangspunkt i at undersøge alle, eller ved at lede efter mønstre der peger på forbrydelser der endnu ikke er begået, så vil der komme fejldomme. Og mange af dem.

Hvis vi lægger et formentlig aldeles upræcist signifikansniveau på 10 % (for illustrationens skyld), så er det niveau langt højere end andelen der faktisk kunne finde på at begå en af de forbrydelser man ville undersøge (jeg tror godt vi - helt uden at have relevant data - kan blive enige om at langt under 10 % af befolkningen er potentielle terrorister, fx), hvilket betyder at en databaseret masseundersøgelse simpelthen vil udpege flere uskyldige end kriminelle.

Og hvis man har store mængder data om alle, kan man blive ved med at lede efter mønstre indtil man finder noget der peger i den rigtige retning, når først man har en mistænkt.

Så når nogen siger at man ikke har noget at frygte hvis man er uskyldig, så er det decideret forkert. Og det er ikke kun tabet af privatliv der er på spil - det er i høj grad også tabet af retssikkerhed.