Statistik (del 3 af 3)

Når jeg mener, at der ofte sker misbrug af statistik, så kan der være tale om direkte fejl i den statistiske metode, eller at et i et for sig lødigt resultat bliver fortolket langt ud over, hvad det kan bære.

Et eksempel på førstnævnte kunne være DSB, som for (vistnok) 20 år sendte medarbejdere rundt i S-togene for at interviewe de rejsende. Disse skulle så svare på spørgsmål om, hvor de kom fra og hvor de skulle hen, og på den måde regnede DSB så med at kunne danne et billede af folks rejsemønstre. Problemet var imidlertid, at med den valgte metode, var den udtagne stikprøve ikke repræsentativ for passagererne. For som enhver kan regne ud, såfremt man da ellers lige husker at tænke på det, så vil en stikprøve udtaget i toget give en overrepræsentation af passagerer, der rejser langt. En langtrejsende har simpelthen større sandsynlighed for at blive udtrukket, end en som rejser kort. Da man i DSB blev opmærksom på problemet, måtte man derfor skrotte hele undersøgelsen, og i stedet indføre tælledage, hvor passagererne på perronen fik en nummereret seddel, som så skulle afleveres igen ved rejsens slut.

Et andet problem er, hvis man blandt livets mange tildragelser leder efter tal, som skiller sig påfaldende ud fra det normale, og så bagefter – når man allerede har konstateret, at det virker unormalt – foretager en statistiks analyse af de fundne tal. Et tænkt men ikke urealistisk eksempel kan være en vejstrækning, som i en periode har haft særligt høje ulykkestal. Hvis man her sammenligner de høje ulykkestal med det almindelige niveau, for at finde ud af, om det bare er tilfældigt (nul-hypotese), eller om tallene er så markante (signifikante), at vejen må karakteriseres som mere farlig end normalt, så går det galt. Det normale niveau kan nemlig kun benyttes som reference ved en vej, der allerede er udvalgt, før man har kendskab til tallene. For nogle gange vil en given vej ligge over det, som er normalt for denne, og andre gange under. Men skifter man jævnt hen fokus, alt efter hvilken vej som lige nu ligger højest, så vil man generelt få resultater, som ligger over det, som er normalt for de pågældende steder, og man bliver derved for tilbøjelig til at udnævne givne vejstrækninger som særligt usikre..

I praksis kan det være svært at tage hensyn til alle relevante forhold ved en undersøgelse, men mange problemer har at gøre med, at sandsynligheder relaterer sig til menneskelig viden (og mangel på samme). Kaster jeg med en mønt, kan jeg i princippet godt på forhånd regne ud, hvordan den lander. Det vil godt nok kræve en helt urealistisk grundig og præcis viden om kastet af mønten, møntens beskaffenhed, luften, underlaget osv., men i princippet kan det lade sig gøre. Så når jeg blot må nøjes med at sige, at der er to udfald, som begge er lige mulige, så er det egentlig blot et udtryk for, at min viden ikke er tilstrækkelig. Omvendt, kaster jeg med en mønt og konstaterer, at det rent faktisk har fået ”krone”, så er sandsynligheden for ”krone” nu ikke længere 50 men 100 %, da jeg nu rent faktisk ved, hvad det er sket. Men for min nabo, som bare ved, at jeg har kastet, men endnu ikke er informeret om resultatet, er sandsynligheden stadig 50 %.

Så når min viden ændrer sig, ændrer sandsynlighederne sig også, og i eksemplet ovenfor med trafikulykker, betyder en udvælgelsesprocedure med at søge den vej med flest ulykker, at man ikke kan benytte de almindelige ulykkessandsynligheder som reference. Men en anden statistiker, som måske også har udvalgt samme vej til undersøgelse, men uden på forhånd at kende noget til ulykkestallene, kan godt tillade sig, at sammenligne med de almindelige tal. Og derved kan konklusionerne blive forskellig i de to tilfælde, selvom der tale om den samme vej og de samme tal.

Som nævnt i sidste artikel bygger konklusionen af en statistiks undersøgelse på en sandsynlighedsbetragtning. Man kan derfor ikke vide noget med sikkerhed, og der er altid mulighed for, at konklusionen er forkert. Men jo større stikprøve man kan udtaget, jo større sikkerhed, men som nævnt kan man aldrig blive helt sikker. Heller ikke selvom man undersøger alle foreliggende data bliver man sikker. Gælder det som ovenfor trafikulykker, kan man selvfølgelig ved at undersøge alt få fuldstændig sikkerhed for antallet af ulykker. Men da det ikke er antal ulykker, som er interessant, men vejens "farlighed", så er de hændte ulykker stadig kun at betragte som en stikprøve på, hvor farlig vejen er.

I en undersøgelse foretaget af Vejdirektoratet taler man bla. om en signifikansgrænse på 95 %. Det betyder, at sandsynligheden for at få det fundne resultat (eller noget endnu mere markant), såfremt der alligevel ikke er noget om hypotesen højest må være 5 % , hvilket jo så svarer til, at sandsynligheden for et mindre markant resultat mindst skal være 95 %. Hvad der er en passende signifikansgrænse, er en smagssag, men 95 % er ikke særlig højt. Det er faktisk det samme som at sige, at man er så ivrig for at få antaget sine hypoteser, at man er villig til i 5 % af sine undersøgelser at antage noget forkert. Men problemet for vejdirektoratet er naturligvis, at man kun har de ulykker, som er sket, og ikke bare kan udtaget en større stikprøve end det.

Men når det lykkes at gennemføre en fagligt sober statistisk analyse, så er der stadig spørgsmålet om fortolkning af resultaterne. Statistikken kan (med en vis grad af sandsynlighed) påvise et mønster i nogle tal. Men hvad er årsag, og hvad er virkning? F.eks. var der engang en undersøgelse, som viste en positiv sammenhæng mellem alkoholforbrug og indkomst. Jeg skal ikke her tage stilling til den statistiske kvalitet, men selvom hele statistikken er i skønneste orden, drikker mennesker så mere fordi indkomsten er høj, eller er det modsat? Eller er der en helt tredje faktor, som ikke er med i undersøgelsen, men som er årsagen både til den høje indkomst og det høje alkoholforbrug? Dette kan de statistiske metoder aldrig svare på.

Til sidst vil jeg komme ind på det forhold, som er årsagen til, at jeg overhovedet har valgt at skrive her på bloggen om statistik. Og det er, at statistik altid er generelle helhedsbetragtninger, som ikke nødvendigvis altid er sande. Det kan f.eks. godt være, at der generelt sker flere trafikulykker ved højere hastigheder, det kan godt være, at man generelt bliver rigere, hvis man drikker mere, det kan godt være, at man generelt lever kortere, hvis man ryger osv. Men selvom det så måtte være sandt, så er det helt sikkert, at det ikke passer præcist på alle mennesker. Der vil være nogle, som sagtens kan ryge, uden at leve kortere af den grund, der vil være nogen, som ikke tjener mere, uanset hvor meget de så drikker, og der vil sikkert også være nogen, som bliver mere trafiksikre, når de får lov at sætte hastigheden op.

Men det vil en politiker eller en offentlig embedsmand være ligeglad med. De vil hurtigt miste overblikket, hvis de skal beskæftige sig med alle mulige individuelle forhold, så de interesserer sig kun for det generelle, når de prøver gennem lovgivning, incitamenter og folkeopdragelse, at få mennesker til at opføre sig på bestemte måder. Statistik bliver hurtigt et værktøj i politikernes hænder, som får dem til at føle sig magtfulde, men desværre fører det til, at politikerne skaber et konfektionssyet samfund.

Ønsker man derimod et skræddersyet samfund med plads til alle, må det gøres mindre brug af statistik, og i stedet må der være mere tillid til, at mennesker instinktivt godt kan finde ud af, hvad der er godt for dem selv.

Gad i øvrigt vide, om der er en sammenhæng mellem ordet "statistik" og ordet "stat".