”Velfærdsstaten” er skabt af mennesker, der ikke har virkelige helte; og som derfor har skabt et system, der har til formål at gøre verden årsagsløs, sådan at man (tror man) slipper for at forholde sig til alle de udfordringer, virkeligheden konfronterer en med. (Simon Espersen, Et samfund uden forbilleder)

Viser opslag med etiketten statistik. Vis alle opslag
Viser opslag med etiketten statistik. Vis alle opslag

søndag den 17. august 2008

Statistisk junk fra politiken.dk

I flg. en artikel bragt af politiken.dk står Dansk Folkeparti til en fremgang, således at de ved valg i dag vil få 29 mandater. En netop foretagen meningsmåling viser nemlig, at 16,1% vil stemme på partiet mod 14,4% ved sidste måling.

Nu nævner artiklen desværre ikke noget om hvor stor en stikprøve, undersøgelsen baserer sig på. Så derfor har jeg været inde på Catinets hjemmeside i håb om der at finde svaret. Desværre kan jeg ikke finde den seneste prøve, men jeg kan finde den fra sidst med de 14,4%. Og her viser det sig, at den er baseret på interview med 1013 personer, så mon ikke den nye undersøgelse også bygger på 1013 personer.

Hvis jeg antager det, så bygger Politikens artikel altså på, at 163 respondenter har sagt, at de vil stemme på DF mod 146 respondenter sidste gang. Altså en stigning på 17. Intuitivt virker det ikke af meget, og selv med en smule helt primitiv sandsynlighedsregning på gymnasieniveau er det da heller ikke svært at indse, at stigningen ikke er statistisk signifikant (se nedenfor). Men ønsker man ikke at grave sin gamle sandynlighedesregning frem, så kan man også bare læse på Catinets hjemmeside, at usikkerheden på resultatet er +/- 2,7%

Så kære journalist, som har begået nyheden. Der er ingen statistik evidens for, at Dansk Folkeparti reelt er gået frem. Hele din artiklen er og bliver dit eget gætværk.


PS

En simpel medtode til sandsynlighedesregning er at antage, at den første måling er 100% sikker. Det er den selvfølgelig ikke, men det gør bare, vi kommer til at undervurdere den samlede usikkerhed på resultatet. Så derfor sættes sandsynligheden for at en tilfældigt udtrukket person vil stemme DF til 14,4%, og endelig bruges så binomialfordelingen til at finde sandsynligheden for at 163 eller flere vil stemme DF, når der udtages en stikprøve på 1013.

Sandsynligheden er 5,9% for dette, og det er under alle omstændigheder for meget til, at man med statistiks belæg kan sige, at flere vil stemme DF.

torsdag den 7. august 2008

Statistik (del 3 af 3)

Når jeg mener, at der ofte sker misbrug af statistik, så kan der være tale om direkte fejl i den statistiske metode, eller at et i et for sig lødigt resultat bliver fortolket langt ud over, hvad det kan bære.

Et eksempel på førstnævnte kunne være DSB, som for (vistnok) 20 år sendte medarbejdere rundt i S-togene for at interviewe de rejsende. Disse skulle så svare på spørgsmål om, hvor de kom fra og hvor de skulle hen, og på den måde regnede DSB så med at kunne danne et billede af folks rejsemønstre. Problemet var imidlertid, at med den valgte metode, var den udtagne stikprøve ikke repræsentativ for passagererne. For som enhver kan regne ud, såfremt man da ellers lige husker at tænke på det, så vil en stikprøve udtaget i toget give en overrepræsentation af passagerer, der rejser langt. En langtrejsende har simpelthen større sandsynlighed for at blive udtrukket, end en som rejser kort. Da man i DSB blev opmærksom på problemet, måtte man derfor skrotte hele undersøgelsen, og i stedet indføre tælledage, hvor passagererne på perronen fik en nummereret seddel, som så skulle afleveres igen ved rejsens slut.

Et andet problem er, hvis man blandt livets mange tildragelser leder efter tal, som skiller sig påfaldende ud fra det normale, og så bagefter – når man allerede har konstateret, at det virker unormalt – foretager en statistiks analyse af de fundne tal. Et tænkt men ikke urealistisk eksempel kan være en vejstrækning, som i en periode har haft særligt høje ulykkestal. Hvis man her sammenligner de høje ulykkestal med det almindelige niveau, for at finde ud af, om det bare er tilfældigt (nul-hypotese), eller om tallene er så markante (signifikante), at vejen må karakteriseres som mere farlig end normalt, så går det galt. Det normale niveau kan nemlig kun benyttes som reference ved en vej, der allerede er udvalgt, før man har kendskab til tallene. For nogle gange vil en given vej ligge over det, som er normalt for denne, og andre gange under. Men skifter man jævnt hen fokus, alt efter hvilken vej som lige nu ligger højest, så vil man generelt få resultater, som ligger over det, som er normalt for de pågældende steder, og man bliver derved for tilbøjelig til at udnævne givne vejstrækninger som særligt usikre..

I praksis kan det være svært at tage hensyn til alle relevante forhold ved en undersøgelse, men mange problemer har at gøre med, at sandsynligheder relaterer sig til menneskelig viden (og mangel på samme). Kaster jeg med en mønt, kan jeg i princippet godt på forhånd regne ud, hvordan den lander. Det vil godt nok kræve en helt urealistisk grundig og præcis viden om kastet af mønten, møntens beskaffenhed, luften, underlaget osv., men i princippet kan det lade sig gøre. Så når jeg blot må nøjes med at sige, at der er to udfald, som begge er lige mulige, så er det egentlig blot et udtryk for, at min viden ikke er tilstrækkelig. Omvendt, kaster jeg med en mønt og konstaterer, at det rent faktisk har fået ”krone”, så er sandsynligheden for ”krone” nu ikke længere 50 men 100 %, da jeg nu rent faktisk ved, hvad det er sket. Men for min nabo, som bare ved, at jeg har kastet, men endnu ikke er informeret om resultatet, er sandsynligheden stadig 50 %.

Så når min viden ændrer sig, ændrer sandsynlighederne sig også, og i eksemplet ovenfor med trafikulykker, betyder en udvælgelsesprocedure med at søge den vej med flest ulykker, at man ikke kan benytte de almindelige ulykkessandsynligheder som reference. Men en anden statistiker, som måske også har udvalgt samme vej til undersøgelse, men uden på forhånd at kende noget til ulykkestallene, kan godt tillade sig, at sammenligne med de almindelige tal. Og derved kan konklusionerne blive forskellig i de to tilfælde, selvom der tale om den samme vej og de samme tal.

Som nævnt i sidste artikel bygger konklusionen af en statistiks undersøgelse på en sandsynlighedsbetragtning. Man kan derfor ikke vide noget med sikkerhed, og der er altid mulighed for, at konklusionen er forkert. Men jo større stikprøve man kan udtaget, jo større sikkerhed, men som nævnt kan man aldrig blive helt sikker. Heller ikke selvom man undersøger alle foreliggende data bliver man sikker. Gælder det som ovenfor trafikulykker, kan man selvfølgelig ved at undersøge alt få fuldstændig sikkerhed for antallet af ulykker. Men da det ikke er antal ulykker, som er interessant, men vejens "farlighed", så er de hændte ulykker stadig kun at betragte som en stikprøve på, hvor farlig vejen er.

I en undersøgelse foretaget af Vejdirektoratet taler man bla. om en signifikansgrænse på 95 %. Det betyder, at sandsynligheden for at få det fundne resultat (eller noget endnu mere markant), såfremt der alligevel ikke er noget om hypotesen højest må være 5 % , hvilket jo så svarer til, at sandsynligheden for et mindre markant resultat mindst skal være 95 %. Hvad der er en passende signifikansgrænse, er en smagssag, men 95 % er ikke særlig højt. Det er faktisk det samme som at sige, at man er så ivrig for at få antaget sine hypoteser, at man er villig til i 5 % af sine undersøgelser at antage noget forkert. Men problemet for vejdirektoratet er naturligvis, at man kun har de ulykker, som er sket, og ikke bare kan udtaget en større stikprøve end det.

Men når det lykkes at gennemføre en fagligt sober statistisk analyse, så er der stadig spørgsmålet om fortolkning af resultaterne. Statistikken kan (med en vis grad af sandsynlighed) påvise et mønster i nogle tal. Men hvad er årsag, og hvad er virkning? F.eks. var der engang en undersøgelse, som viste en positiv sammenhæng mellem alkoholforbrug og indkomst. Jeg skal ikke her tage stilling til den statistiske kvalitet, men selvom hele statistikken er i skønneste orden, drikker mennesker så mere fordi indkomsten er høj, eller er det modsat? Eller er der en helt tredje faktor, som ikke er med i undersøgelsen, men som er årsagen både til den høje indkomst og det høje alkoholforbrug? Dette kan de statistiske metoder aldrig svare på.

Til sidst vil jeg komme ind på det forhold, som er årsagen til, at jeg overhovedet har valgt at skrive her på bloggen om statistik. Og det er, at statistik altid er generelle helhedsbetragtninger, som ikke nødvendigvis altid er sande. Det kan f.eks. godt være, at der generelt sker flere trafikulykker ved højere hastigheder, det kan godt være, at man generelt bliver rigere, hvis man drikker mere, det kan godt være, at man generelt lever kortere, hvis man ryger osv. Men selvom det så måtte være sandt, så er det helt sikkert, at det ikke passer præcist på alle mennesker. Der vil være nogle, som sagtens kan ryge, uden at leve kortere af den grund, der vil være nogen, som ikke tjener mere, uanset hvor meget de så drikker, og der vil sikkert også være nogen, som bliver mere trafiksikre, når de får lov at sætte hastigheden op.

Men det vil en politiker eller en offentlig embedsmand være ligeglad med. De vil hurtigt miste overblikket, hvis de skal beskæftige sig med alle mulige individuelle forhold, så de interesserer sig kun for det generelle, når de prøver gennem lovgivning, incitamenter og folkeopdragelse, at få mennesker til at opføre sig på bestemte måder. Statistik bliver hurtigt et værktøj i politikernes hænder, som får dem til at føle sig magtfulde, men desværre fører det til, at politikerne skaber et konfektionssyet samfund.

Ønsker man derimod et skræddersyet samfund med plads til alle, må det gøres mindre brug af statistik, og i stedet må der være mere tillid til, at mennesker instinktivt godt kan finde ud af, hvad der er godt for dem selv.

Gad i øvrigt vide, om der er en sammenhæng mellem ordet "statistik" og ordet "stat".

onsdag den 6. august 2008

Statistik (del 2 af 3)

I dag vil jeg prøve at give et indtryk af, hvad man arbejder med indenfor statistik. Og det kan måske illustreres ved at tænke på at kaste ”plat” eller ”krone”, bare ikke med en mønt men med en tegnestift.

Kast med en tegnestift har ligesom med en mønt to udfald. Den kan enten lande med spidsen opad eller på siden. Men i modsætning til kast med en mønt, kan man ikke på forhånd slutte, at hvert udfald må have en sandsynlighed på 50 %. Og derfor kan man ikke umiddelbart foretage sandsynlighedsberegninger for en tegnestift (f.eks. at beregne sandsynligheden for at tegnestiften i to på hinanden følgende kast begge gange lander på siden).

Vil man vide noget om sandsynligheden for at tegnestiften lander på siden, er man i praksis nødt til at foretage et eksperiment for derefter at slutte (induktivt) på baggrund af eksperimentets udfald. Kaster man f.eks. 10 gange med tegnestiften og finder, at den 7 af gangene lander på siden, ja så ved man af den grund ikke med sikkerhed, hvor stor sandsynligheden er for at lande på siden. I princippet kan den godt være 50 %, på samme måde som en mønt jo også godt kan give ”plat” i 7 ud af 10 kast. Men intuitivt vil det bedste bud naturligvis være, at sandsynligheden for at lande på siden er 70 %. Og de fleste har nok også en fornemmelse af, at det er mere sandsynligt at få 7 ud af 10, som lander på siden, hvis sandsynligheden for at lande på siden er 70 %, end hvis sandsynligheden eksempelvis kun er 50 %. Og den statistiske begrundelse for at antage, at sandsynligheden netop er 70 % vil tilsvarende være, at lige netop med 70 % maksimeres sandsynligheden (som den nu engang beregnes indenfor sandsynlighedsregningen), for det aktuelle udfald af eksperimentet.

Men hvad nu, hvis man kaster 10 gange mere med tegnestiften, og nu får 5 af hvert udfald? Så vil det være naturlig at lægge de to eksperimenter sammen og sige at sandsynligheden for at lande på siden nu er 60 % (12 ud af 20).

Der hvor det bliver interessant er imidlertid, hvis det nye eksperiment er foretaget under lidt andre omstændigheder. Det kan f.eks. være med en anden tegnestift, i et andet lokale med en anden temperatur, på et andet underlag osv. Kan man så på den baggrund konkludere, at de ændrede omstændigheder har haft indflydelse? Hvis der f.eks. var tale om en rød og en blå tegnestift, kan man så sige, at røde tegnestifter har en sandsynlighed på 70 % for at lande på siden, medens den for blå tilsvarende er 50 % ?

Den statistiske tankegang vil da være først at antage, at der ikke er nogen forskel (nul hypotese) og på den baggrund gættes (estimere) den samlede sandsynlighed for at lande på siden til at være 60 %. Derefter beregnes så sandsynligheden for i de to eksperimenter henholdsvis at få 7 og 5 (eller endnu større forskel), når nu sandsynligheden for at lande på siden sættes til de 60 %. Og hvis det så viser sig, at forskellen mellem de to eksperimenter er så stor, at det er helt usandsynligt, så accepteres, at der nok er en forskel på de to eksperimenter. Så er det gode spørgsmål bare, om man har fat i den rigtige forklaring (tegnestiftens farve).

Viser det sig derimod, at forskellen ikke er særlig usandsynlig, så vil man ud fra den sædvanlige videnskabelige tankegang om, at man ikke skal regne med noget før det er tilstrækkeligt underbygget, blot afvise tanken om, at der var forskel på de to eksperimenter.

I ovennævnte ekesmpel vil forskellen med de 7 og de 5 ikke være særlig usandsynlig og det vil derfor afvises, at der er en systematisk forskel på de to eksperimenter. Men hvis det nu ikke handler om tegnestifter, men istedet om noget mere politisk følsomt som eksempelvis miljø, så kan man sagtens forstille sig, at nogle personer vil argumentere for, at vi ikke kan tillade os at være alt for videnskabelige, men skal lade tvivlen komme mistanken om forskel tilgode, således at vi kan handle nu.

tirsdag den 5. august 2008

Statistik (del 1 af 3)

Man siger, at der findes 3 former for løgn:

1. Den lille hvide løgn
2. Den grove forbandede løgn
3. Statistik

Nogenlunde sådan indledte Lars Pallesen engang en forelæsning i statistik. Derefter gik han så videre til at forklare noget om, at det naturligvis ikke var selve statistikken som faglig disciplin, der var usand, men derimod de mange mennesker, som mistolkede og misbrugte statistikkens resultater.

Men hvad er statistik egentlig, og hvad er det for et misbrug, der sker?

Nogle gange bruges ordet statistik blot om en simpel talopgørelse, som det f.eks. kendes fra Danmarks Statistik. Et andet eksempel kunne også være et folketingsvalg (prøvevalg) i skoleklasse, hvor man så kan opgøre hvor mange procent, som stemmer på Socialdemokraterne, Radikale, Konservative etc.

Men den slags talopgørelser er sjældent interessante i sig selv. Laver man f.eks. folketingsvalg i flere forskellige skoleklasser, mister man hurtigt overblikket, hvis man fortaber sig i, hvorfor et givet parti scorer 5-10 % mere i den ene klasse end i den anden. Det interessante vil da være, at finde de bagvedliggende sammenhænge, såsom hvorvidt der er politisk forskel på drenge og piger, folkeskoleelever og privatskoleelever, handelsskolelever og gymnasieelever osv.

Og det er lige netop her, at statistikken kommer ind i billedet. For helt grundlæggende er statistik en matematisk disciplin, som beskæftiger sig med at analysere tal, for at finde mønstre i dem. Man kan også sige, at statistik handler om at støtte en induktiv proces med at slutte fra det specifikke (de foreliggende tal) til det generelle (de bagvedliggende sammenhænge).

Hvordan dette foregår, vil jeg komme lidt nærmere ind på i min næste artikel, som kommer i morgen. Men det som skal slås fast her er, at statistik aldrig kan komme med en fuldstændig sikker forklaring på noget som helst. Den kan højest påvise nogle mønstre i et talmateriale og dermed være med til at sandsynliggøre, at nogle fænomener er forbundet med hinanden. Men statistik kan aldrig fastslå mønstrene med 100 % sikkerhed, og den kan aldrig forklare, hvad som er årsag og virkning.

Muligheden for at misbruge statistik til at underbygge alle mulige mere eller mindre lødige konklusioner er derfor stor. Og også selvom man prøver at være så redelig som overhovedet muligt, i sin statistik og prøver at undgå statistikkens mange faldbruger, så vil konklusionen på en statistisk undersøgelse altid bygge på nogle antagelser og så en vis portion fortolkning.