En outlier er en enkeltværdi, der ligger langt fra resten af dine data. De er få i antal, men store i betydning: har du ikke styr på dine outliers, bliver du let snydt i din analyse. De trækker især i gennemsnittet, som beskrevet i Gennemsnit kan snyde, men de kan lige så vel vælte en regression, en prognose eller en konklusion. Derfor er et af de første skridt i enhver analyse at finde dem og tage stilling til dem.
Bemærk, at outlier-analyse kun giver mening for numeriske data. En outlier er en værdi, der ligger unaturligt langt fra de andre, og ”langt fra” forudsætter, at man kan måle afstande, altså interval- eller ratio-data (se Datatyper og skalaer). En farve eller et postnummer kan ikke være en outlier; her findes kun hyppige og sjældne kategorier, ikke ekstreme værdier.
Det vigtige er, at outliers opstår af vidt forskellige grunde, og grunden afgør, hvad du skal gøre. Nogle er rene datafejl: en tastefejl, en forkert enhed, en sensor der driller. ”524 % af befolkningen bruger Facebook” er ikke en overraskende indsigt, men en fejl, dit domænekendskab afslører på et øjeblik. En sådan kodeværdi kan i øvrigt lige så godt være et forklædt hul i data, som du kan læse mere om i Manglende data. Andre er ægte værdier, der bare ikke er repræsentative: en sjælden hændelse eller en skæv stikprøve, hvor et enkelt tal trækker skævt. Og andre igen er ægte og afslører et skjult mønster: nogle biler kører ekstremt langt på literen, fordi de er hybridbiler. Den slags outlier er ofte det mest interessante i hele datasættet.
Netop derfor er det farligt at ignorere dem. En enkelt fejlindtastet værdi kan flytte et gennemsnit så meget, at hele billedet forskydes, mens medianen står fast; den er robust. Men lige så galt er det at slette en outlier, der i virkeligheden var den ægte, vigtige undtagelse, du burde have undersøgt. Første opgave er derfor ikke at fjerne outliers, men at finde dem systematisk.
Den mest udbredte metode er IQR-metoden (også kaldet Tukeys metode). Du sorterer dine tal og finder den nedre kvartil Q1 (25 %-fraktilen) og den øvre kvartil Q3 (75 %-fraktilen): en fjerdedel af observationerne ligger under Q1, og en fjerdedel over Q3. Afstanden mellem dem er Inter Quartile Range, IQR = Q3 − Q1. Herefter lægger du et ”hegn” 1,5·IQR uden for hver kvartil: alt under Q1 − 1,5·IQR og alt over Q3 + 1,5·IQR regnes som en outlier.
Et konkret eksempel: Per har fået et nyt Hjem-Is-distrikt og har registreret salget i 13 dage for at få en fornemmelse af potentialet. Kvartilerne er Q1 = 32 og Q3 = 45,5, så IQR = 13,5. Grænserne bliver 32 − 1,5·13,5 = 11,75 nedadtil og 45,5 + 1,5·13,5 = 65,75 opadtil. En dag med 72 salg ligger uden for den øvre grænse og markeres som en outlier, som Per bør se nærmere på, før han bruger tallene. Vil man kun fange de helt ekstreme værdier, bruger man 3·IQR i stedet for 1,5.
Der findes også andre metoder, som er værd at kende. Den mest kendte er z-score. En z-score fortæller, hvor mange standardafvigelser en værdi ligger fra gennemsnittet: du trækker gennemsnittet fra værdien og dividerer med standardafvigelsen. Ligger en observation mere end tre standardafvigelser fra midten (altså |z| større end 3), regnes den typisk som en outlier; nogle bruger en strammere grænse på 2. Metoden er intuitiv, men har en indbygget svaghed: den bygger selv på gennemsnittet og standardafvigelsen, og begge bliver trukket skævt af netop de ekstreme værdier, man leder efter. En kraftig outlier kan altså ”skjule sig selv” ved at oppuste standardafvigelsen. Derfor virker z-scoren bedst på data, man på forhånd ved er nogenlunde symmetriske og klokkeformede (normalfordelte).
For skæve data er den modificerede z-score et bedre valg. Den erstatter gennemsnittet med medianen og standardafvigelsen med MAD (median absolute deviation), altså den mediane afstand til medianen. Fordi både median og MAD er robuste, lader de sig ikke rive med af de ekstreme værdier, og metoden flagger typisk observationer med en modificeret z-score over cirka 3,5. Den er med andre ord z-scorens robuste fætter, egnet til data, der ikke er pænt symmetriske.
I praksis er IQR-metoden dog som regel at foretrække. Den er robust, den antager ingen bestemt fordeling, og den regner direkte på fraktiler frem for på gennemsnit. Vigtigst af alt hænger den sammen med boxplottet, som du så ovenfor: kassen er kvartilerne, stregen medianen, og punkter uden for hegnet tegnes som outliers. Boxplottet er et af de bedste værktøjer til netop denne del af analysen, fordi det på ét blik viser både spredning, skævhed og outliers. Vælg z-score, når du allerede ved, at data er normalfordelte; ellers er IQR og boxplot standardvalget.
Og her er den vigtigste pointe: ingen formel træffer beslutningen for dig. Metoderne finder mistænkelige værdier; om en mistænkt værdi er en fejl eller en ægte, sjælden sandhed, kræver en vurdering og domænekendskab. Hybridbilens 40 km/l bliver flagget som outlier, men er fuldstændig reel. Sletter du den mekanisk, skjuler du netop det mønster, der var værd at finde. En outlier er et spørgsmål, ikke et svar.
Så processen har tre trin: find outlieren, undersøg hvorfor den er der, og handl efter årsagen.
Er den en datafejl, retter du den, hvis du kan regne den rigtige værdi ud; ellers fjerner du den fra analysen. Er den ægte, men ikke repræsentativ, kan du analysere den separat eller skifte til robuste mål som median og IQR, der ikke lader sig rive med. Og er den ægte og betydningsfuld, beholder du den; den er måske dit vigtigste fund. Fælles for det hele: slet aldrig en outlier automatisk, og dokumentér din beslutning, så andre kan følge din tankegang.
I Excel finder du kvartilerne med =KVARTIL.MEDTAG(matrix; 1) og =KVARTIL.MEDTAG(matrix; 3), og så er IQR og grænserne bare simpel aritmetik. Vil du hellere bruge z-score, giver =STANDARDISER() sammen med =MIDDEL() og =STDAFV.S() dig værdierne. Men husk, at det svære ikke er beregningen; det er vurderingen bagefter.
Outliers er med andre ord ikke bare støj, der skal fejes væk. De er dér, hvor enten fejlen eller den interessante undtagelse gemmer sig. Find dem, forstå dem, og beslut bevidst. Det værste, du kan gøre, er at overse dem. Det næstværste er at slette dem uden at se efter.