Robuuste statistieken

Robuuste statistieken zijn statistieken met goede prestaties voor gegevens uit een breed scala van waarschijnlijkheidsverdelingen, vooral voor distributies die dat niet zijn normaal. Robuust statistisch Methoden zijn ontwikkeld voor veel veel voorkomende problemen, zoals schatten plaats, schaal, en Regressieparameters. Een motivatie is om te produceren statistische methoden die er niet onnodig door worden getroffen uitbijters. Een andere motivatie is om methoden met goede prestaties te bieden wanneer er kleine afwijkingen zijn van een parametrische verdeling. Robuuste methoden werken bijvoorbeeld goed voor mengsels van twee Normale verdelingen met verschillende standaard afwijkingen; Onder dit model, niet-robuuste methoden zoals een test Werk slecht.

Invoering

Robuuste statistieken proberen methoden te bieden die populaire statistische methoden emuleren, maar die niet onnodig worden beïnvloed door uitbijters of andere kleine vertrekken uit Modelaannames. In statistieken zijn klassieke schattingsmethoden sterk afhankelijk van veronderstellingen die in de praktijk vaak niet worden voldaan. In het bijzonder wordt vaak aangenomen dat de gegevensfouten normaal worden verdeeld, tenminste ongeveer ongeveer, of dat de centrale limietstelling kan worden vertrouwd om normaal verdeelde schattingen te produceren. Helaas, als er uitbijters in de gegevens zijn, klassiek schatters hebben vaak zeer slechte prestaties, wanneer beoordeeld met behulp van de afbraakpunt en de invloed op de functie, hieronder beschreven.

Het praktische effect van problemen die in de invloedsfunctie worden gezien, kan empirisch worden bestudeerd door de bemonsteringsverdeling van voorgestelde schatters onder een mengselmodel, waarbij men zich in een kleine hoeveelheid mengt (1-5% is vaak voldoende) verontreiniging. Men kan bijvoorbeeld een mengsel van 95% een normale verdeling gebruiken en 5% een normale verdeling met hetzelfde gemiddelde maar aanzienlijk hogere standaardafwijking (die uitbijters vertegenwoordigt).

Robuust parametrische statistieken kan op twee manieren doorgaan:

• Door schatters te ontwerpen zodat een vooraf geselecteerd gedrag van de invloedsfunctie wordt bereikt
• Door schatters te vervangen die optimaal zijn onder de veronderstelling van een normale verdeling met schatters die optimaal zijn voor, of op zijn minst afgeleid voor, andere distributies: bijvoorbeeld het gebruik van de t-verdeling Met lage vrijheidsgraden (hoge kurtosis; vrijheidsgraden tussen 4 en 6 is in de praktijk vaak nuttig gebleken) of met een mengsel van twee of meer distributies.

Robuuste schattingen zijn onderzocht voor de volgende problemen:

• schatting Locatieparameters
• schatting Schaalparameters
• schatting regressiecoëfficiënten
• Schatting van modelstaten in modellen uitgedrukt in staatsruimte vorm, waarvoor de standaardmethode gelijk is aan een Kalman -filter.

Definitie

Er zijn verschillende definities van een "robuuste statistiek. "Strikt genomen, een robuust statistiek is bestand tegen fouten in de resultaten, geproduceerd door afwijkingen van veronderstellingen^[1] (bijv. Normaliteit). Dit betekent dat als de veronderstellingen slechts ongeveer worden voldaan, de robuuste schatter zal nog steeds een redelijk hebben efficiëntie, en redelijk klein vooroordeel, evenals asymptotisch onbevooroordeeld, wat betekent dat het hebben van een vooringenomenheid naar 0, omdat de steekproefgrootte neigt naar oneindig.

Meestal is het belangrijkste geval distributie robuustheid - Robuustheid voor het doorbreken van de veronderstellingen over de onderliggende verdeling van de gegevens.^[1] Klassieke statistische procedures zijn meestal gevoelig voor "longtailedness" (bijv. Wanneer de verdeling van de gegevens langere staarten heeft dan de veronderstelde normale verdeling). Dit houdt in dat ze sterk zullen worden beïnvloed door de aanwezigheid van uitbijters In de gegevens, en de schattingen die ze produceren, kunnen zwaar worden vervormd als er extreme uitbijters in de gegevens zijn, vergeleken met wat ze zouden zijn als de uitbijters niet in de gegevens zouden worden opgenomen.

Daarentegen zijn robuustere schatters die niet zo gevoelig zijn voor distributievormen zoals Longtailedness ook resistent tegen de aanwezigheid van uitbijters. Dus in de context van robuuste statistieken, distributie robuust en uitbijter-resistent zijn effectief synoniem.^[1] Zie voor één perspectief op onderzoek in robuuste statistieken tot 2000 Portnoy & He (2000).

Sommige experts geven de voorkeur aan de term Resistente statistieken Voor robuustheid van de distributie, en reserve 'robuustheid' voor niet-verdeling robuustheid, bijvoorbeeld robuustheid voor schending van veronderstellingen over het waarschijnlijkheidsmodel of schatter, maar dit is een minderheidsgebruik. Gewone 'robuustheid' betekent 'distributie robuustheid' is gebruikelijk.

Wanneer u bedenkt hoe robuust een schatter is voor de aanwezigheid van uitbijters, is het nuttig om te testen wat er gebeurt wanneer een extreme uitbijter is toegevoegd naar de dataset, en om te testen wat er gebeurt als een extreme uitbijter vervangen Een van de bestaande datapunten en vervolgens om het effect van meerdere toevoegingen of vervangingen te overwegen.

Voorbeelden

De gemeen is geen robuuste maat voor algemene drang. Als de gegevensset is b.v. De waarden {2,3,5,6,9}, als we nog een datapoint met waarde -1000 of +1000 aan de gegevens toevoegen, zal het resulterende gemiddelde heel anders zijn dan het gemiddelde van de oorspronkelijke gegevens. Evenzo, als we een van de waarden vervangen door een datapunt van waarde -1000 of +1000, zal het resulterende gemiddelde heel anders zijn dan het gemiddelde van de oorspronkelijke gegevens.

De mediaan- is een robuuste maat voor algemene drang. In dezelfde dataset {2,3,5,6,9} nemen, als we nog een datapoint met waarde -1000 of +1000 toevoegen, zal de mediaan enigszins veranderen, maar deze zal nog steeds vergelijkbaar zijn met de mediaan van de oorspronkelijke gegevens. Als we een van de waarden vervangen door een datapunt van waarde -1000 of +1000, is de resulterende mediaan nog steeds vergelijkbaar met de mediaan van de oorspronkelijke gegevens.

Beschreven in termen van afbraakpunten, de mediaan heeft een afbraakpunt van 50%, wat betekent dat de helft van de punten uitbijters moet zijn voordat de mediaan buiten het bereik van de niet-uitgaande liers kan worden verplaatst, terwijl het gemiddelde een afbraakpunt van 0 heeft, omdat een enkele grote observatie kan Gooi het af.

De Mediane absolute afwijking en interkwartielbereik zijn robuuste maatregelen van statistische dispersie, Terwijl de standaardafwijking en bereik zijn niet.

Getrimde schatters en Winsoriseerde schatters zijn algemene methoden om statistieken robuuster te maken. L-schatting zijn een algemene klasse van eenvoudige statistieken, vaak robuust, terwijl M-schatting zijn een algemene klasse van robuuste statistieken en zijn nu de voorkeursoplossing, hoewel ze behoorlijk betrokken kunnen zijn om te berekenen.

Gegevens van licht van licht

Gelman et al. In Bayesiaanse gegevensanalyse (2004) overweeg een gegevensset met betrekking tot met betrekking tot lichtsnelheid metingen gedaan door Simon Newcomb. De gegevenssets voor dat boek zijn te vinden via de Klassieke gegevenssets Page en de website van het boek bevat meer informatie over de gegevens.

Hoewel het grootste deel van de gegevens min of meer normaal wordt verdeeld, zijn er twee voor de hand liggende uitbijters. Deze uitbijters hebben een groot effect op het gemiddelde, slepen het naar hen toe en weg van het midden van het grootste deel van de gegevens. Dus als het gemiddelde bedoeld is als een maat voor de locatie van het centrum van de gegevens, is het in zekere zin bevooroordeeld wanneer uitbijters aanwezig zijn.

Ook is bekend dat de verdeling van het gemiddelde asymptotisch normaal is vanwege de centrale limietstelling. Uitbijters kunnen echter de verdeling van het gemiddelde niet-normale zelfs voor vrij grote gegevenssets maken. Naast deze niet-normaliteit is het gemiddelde ook inefficiënt In aanwezigheid van uitbijters en minder variabele locatiemaatstaven zijn beschikbaar.

Schatting van de locatie

De onderstaande plot toont een dichtheidsplot van de snelheidsgegevens, samen met een tapijtplot (paneel (a)). Ook getoond is een normaal Q - Q Plot (paneel (b)). De uitbijters zijn duidelijk zichtbaar in deze plots.

Panelen (c) en (d) van de plot tonen de bootstrap -verdeling van het gemiddelde (c) en de 10% getrimd gemiddelde (d). Het getrimde gemiddelde is een eenvoudige robuuste schatter van de locatie die een bepaald percentage waarnemingen verwijdert (10% hier) vanaf elk uiteinde Van de gegevens berekent vervolgens het gemiddelde op de gebruikelijke manier. De analyse werd uitgevoerd in R en 10.000 bootstrap Monsters werden gebruikt voor elk van de ruwe en getrimde middelen.

De verdeling van het gemiddelde is duidelijk veel breder dan die van het 10% getrimde gemiddelde (de plots zijn op dezelfde schaal). Ook terwijl de verdeling van het getrimde gemiddelde dicht bij normaal lijkt te zijn, is de verdeling van het ruwe gemiddelde vrij scheef naar links. Dus in deze steekproef van 66 waarnemingen zorgen er slechts 2 uitbijters voor dat de centrale limietstelling niet van toepassing is.

Robuuste statistische methoden, waarvan het getrimde gemiddelde een eenvoudig voorbeeld is, proberen klassieke statistische methoden te overtreffen in aanwezigheid van uitbijters, of, meer in het algemeen, wanneer onderliggende parametrische veronderstellingen niet helemaal correct zijn.

Hoewel het getrimde gemiddelde goed presteert ten opzichte van het gemiddelde in dit voorbeeld, zijn er betere robuuste schattingen beschikbaar. In feite zijn het gemiddelde, mediane en getrimde gemiddelde allemaal speciale gevallen van M-schatting. Details verschijnen in de onderstaande secties.

Schatting van de schaal

De uitbijters in de snelheidslichtgegevens hebben meer dan alleen een negatief effect op het gemiddelde; De gebruikelijke schatting van schaal is de standaardafwijking, en deze hoeveelheid wordt nog zwaarder beïnvloed door uitbijters omdat de vierkanten van de afwijkingen van het gemiddelde in de berekening gaan, zodat de effecten van de uitbijters worden verergerd.

De onderstaande plots tonen de bootstrap -verdelingen van de standaardafwijking, de Mediane absolute afwijking (Mad) en de Rousseeuw - Croux (QN) schatter van schaal.^[2] De plots zijn gebaseerd op 10.000 bootstrap -monsters voor elke schatter, met wat Gaussiaanse ruis toegevoegd aan de opnieuw bemonsterde gegevens (Gladde bootstrap). Paneel (a) toont de verdeling van de standaardafwijking, (b) van de MAD en (c) van Qn.

De verdeling van standaardafwijking is onregelmatig en breed, een resultaat van de uitbijters. De gek is beter gedragen en QN is een beetje efficiënter dan gek. Dit eenvoudige voorbeeld toont aan dat wanneer uitbijters aanwezig zijn, de standaardafwijking niet kan worden aanbevolen als een schatting van schaal.

Handmatige screening voor uitbijters

Traditioneel zouden statistici gegevens handmatig screenen voor gegevens uitbijtersen verwijder ze en controleer meestal de bron van de gegevens om te zien of de uitbijters ten onrechte zijn vastgelegd. Inderdaad, in het bovenstaande voorbeeld van lichte licht is het gemakkelijk om de twee uitbijters te zien en te verwijderen voordat het verder gaat met verdere analyse. In de moderne tijd bestaan ​​gegevenssets echter vaak uit grote aantallen variabelen die worden gemeten op grote aantallen experimentele eenheden. Daarom is handmatige screening op uitbijters vaak onpraktisch.

Uitbijters kunnen vaak op een zodanige manier communiceren dat ze elkaar maskeren. Overweeg als een eenvoudig voorbeeld een kleine univariate gegevensset met één bescheiden en één grote uitbijter. De geschatte standaardafwijking zal grof worden opgeblazen door de grote uitbijter. Het resultaat is dat de bescheiden uitbijter er relatief normaal uitziet. Zodra de grote uitbijter wordt verwijderd, krimpt de geschatte standaardafwijking en ziet de bescheiden uitbijter er nu ongebruikelijk uit.

Dit maskeringsprobleem wordt erger naarmate de complexiteit van de gegevens toeneemt. Bijvoorbeeld in regressie Problemen, diagnostische plots worden gebruikt om uitbijters te identificeren. Het is echter gebruikelijk dat zodra een paar uitbijters zijn verwijderd, anderen zichtbaar worden. Het probleem is nog erger in hogere dimensies.

Robuuste methoden bieden automatische manieren om te detecteren, overgewicht (of verwijderen) en het markeren van uitbijters, waardoor de behoefte aan handmatige screening grotendeels wordt verwijderd. Zorg moet worden besteed; eerste gegevens die de ozongat eerste verschijnen Antarctica werden afgewezen als uitbijters door niet-menselijke screening.^[3]

Verscheidene toepassingen

Hoewel dit artikel betrekking heeft op algemene principes voor univariate statistische methoden, bestaan ​​ook robuuste methoden voor regressieproblemen, algemene lineaire modellen en parameterschatting van verschillende verdelingen.

Robuustheidsmaatregelen

De basistools die worden gebruikt om robuustheid te beschrijven en te meten, zijn de afbraakpunt, de invloed op de functie en de gevoeligheidscurve.

Afbraakpunt

Intuïtief het uitsplitsingspunt van een schatter is het aandeel onjuiste waarnemingen (bijvoorbeeld willekeurig grote waarnemingen) die een schatter kan verwerken voordat een onjuist (bijvoorbeeld willekeurig groot) resultaat wordt gegeven. Gewoonlijk wordt de asymptotische (oneindige monster) limiet geciteerd als het uitsplitsingspunt, hoewel het eindige-monsteruitbreidingspunt nuttiger kan zijn.^[4] Bijvoorbeeld gegeven ${\ displaystyle n}$ Onafhankelijke willekeurige variabelen ${\ displaystyle (x_ {1}, \ dots, x_ {n})}$ en de overeenkomstige realisaties ${\ displaystyle x_ {1}, \ dots, x_ {n}}$, we kunnen gebruiken ${\ displayStyle {\ overline {x_ {n}}}: = {\ frac {x_ {1} +\ cdots +x_ {n}} {n}}}}$ Om het gemiddelde te schatten. Een dergelijke schatter heeft een afbraakpunt van 0 (of eindige steekproefuitbraakpunt van ${\ DisplayStyle 1/n}$) Omdat we kunnen maken ${\ DisplayStyle {\ Overline {x}}}$ willekeurig groot, gewoon door een van te veranderen ${\ displaystyle x_ {1}, \ dots, x_ {n}}$.

Hoe hoger het uitsplitsingspunt van een schatter, hoe robuuster het is. Intuïtief kunnen we begrijpen dat een uitsplitsingspunt niet groter is dan 50%, want als meer dan de helft van de waarnemingen besmet is, is het niet mogelijk om onderscheid te maken tussen de onderliggende verdeling en de verontreinigende verdeling Rousseeuw & Leroy (1986) Harvtxt -fout: geen doelwit: CiterefousSseeuwleroy1986 (help). Daarom is het maximale afbraakpunt 0,5 en zijn er schatters die een dergelijk afbraakpunt bereiken. De mediaan heeft bijvoorbeeld een afbraakpunt van 0,5. Het x% getrimde gemiddelde heeft een afbraakpunt van x%, voor het gekozen niveau van X. Huber (1981) en Maronna, Martin & Yohai (2006) Harvtxt -fout: geen doelwit: CiterefMaronnamartinyohai2006 (help) bevatten meer details. Het niveau en de stroomafbraakpunten van tests worden onderzocht in Hij, Simpson & Portnoy (1990).

Statistieken met hoge afbraakpunten worden soms genoemd Resistente statistieken.^[5]

Voorbeeld: gegevens van de lichtsnelheid

In het voorbeeld van de lichtsnelheid zorgt het verwijderen van de twee laagste waarnemingen ervoor dat het gemiddelde verandert van 26,2 naar 27,75, een verandering van 1,55. De schatting van de schaal die door de QN -methode wordt geproduceerd, is 6.3. We kunnen dit delen door de vierkantswortel van de steekproefomvang om een ​​robuuste standaardfout te krijgen, en we vinden deze hoeveelheid 0,78. Dus de verandering in het gemiddelde als gevolg van het verwijderen van twee uitbijters is ongeveer twee keer de robuuste standaardfout.

Het getrimde gemiddelde van 10% voor de snelheidsgegevens is 27,43. Het verwijderen van de twee laagste observaties en het hercompleren geeft 27.67. Het is duidelijk dat het getrimde gemiddelde minder wordt beïnvloed door de uitbijters en een hoger afbraakpunt heeft.

Als we de laagste observatie, −44, door −1000 vervangen, wordt het gemiddelde 11,73, terwijl het 10% getrimde gemiddelde nog steeds 27,43 is. In veel gebieden van toegepaste statistieken is het gebruikelijk dat gegevens log-getransformeerd worden om ze bijna symmetrisch te maken. Zeer kleine waarden worden groot negatief wanneer het log-getransformeerde en nullen negatief oneindig worden. Daarom is dit voorbeeld van praktisch belang.

Empirische invloedsfunctie

De empirische invloedsfunctie is een maat voor de afhankelijkheid van de schatter van de waarde van een van de punten in de steekproef. Het is een modelvrije maatregel in de zin dat het gewoon afhankelijk is van het opnieuw berekenen van de schatter met een ander monster. Aan de rechterkant is de biweight -functie van Tukey, die, zoals we later zullen zien, een voorbeeld is van hoe een "goed" (in zekere zin later gedefinieerd) empirische invloedsfunctie eruit zou moeten zien.

In wiskundige termen wordt een invloedsfunctie gedefinieerd als een vector in de ruimte van de schatter, die op zijn beurt wordt gedefinieerd voor een steekproef die een subset van de populatie is:

1. ${\ displayStyle (\ Omega, {\ Mathcal {a}}, p)}$ is een waarschijnlijkheidsruimte,
2. ${\ displayStyle ({\ Mathcal {x}}, \ sigma)}$ is een meetbare ruimte (toestandsruimte),
3. ${\ DisplayStyle \ theta}$ is een parameterruimte dimensie ${\ displaystyle p \ in \ mathbb {n} ^{*}}$,
4. ${\ displaystyle (\ gamma, s)}$ is een meetbare ruimte,

Bijvoorbeeld,

1. ${\ displayStyle (\ Omega, {\ Mathcal {a}}, p)}$ is elke kansruimte,
2. ${\ displayStyle ({\ Mathcal {x}}, \ sigma) = (\ mathbb {r}, {\ mathcal {b}})}$,
3. ${\ DisplayStyle \ theta = \ Mathbb {r} \ Times \ Mathbb {r} ^{+}}$
4. ${\ displaystyle (\ gamma, s) = (\ mathbb {r}, {\ mathcal {b}})}$,

De empirische invloedsfunctie wordt als volgt gedefinieerd.

Laten ${\ displaystyle n \ in \ Mathbb {n} ^{*}}$ en ${\ displaystyle x_ {1}, \ dots, x_ {n}: (\ omega, {\ mathcal {a}}) \ rightarrow ({\ mathcal {x}}, \ sigma)}$ zijn I.I.D. en ${\ displaystyle (x_ {1}, \ dots, x_ {n})}$ is een monster uit deze variabelen. ${\ displaystyle t_ {n}: ({\ Mathcal {x}} ^{n}, \ sigma ^{n}) \ rightarrow (\ gamma, s)}$ is een schatter. Laten ${\ displaystyle i \ in \ {1, \ dots, n \}}$. De empirische invloedsfunctie ${\ displaystyle eif_ {i}}$ bij observatie ${\ displaystyle i}$ wordt gedefinieerd door:

${\ displaystyle eif_ {i}: x \ in {\ mathcal {x}} \ mapsto n \ cdot (t_ {n} (x_ {1}, \ dots, x_ {i-1}, x, x_ {i+ 1}, \ dots, x_ {n})-t_ {n} (x_ {1}, \ dots, x_ {i-1}, x_ {i}, x_ {i+1}, \ dots, x_ {n }))}$

Wat dit eigenlijk betekent, is dat we de i-th waarde in het monster door een willekeurige waarde en kijkend naar de output van de schatter. Als alternatief wordt het EIF gedefinieerd als het effect, geschaald door n+1 in plaats van n, op de schatter van het toevoegen van het punt ${\ displaystyle x}$ naar het monster.

Invloed op de functie en gevoeligheidscurve

In plaats van alleen op de gegevens te vertrouwen, kunnen we de verdeling van de willekeurige variabelen gebruiken. De aanpak is heel anders dan die van de vorige paragraaf. Wat we nu proberen te doen, is om te zien wat er met een schatter gebeurt wanneer we de verdeling van de gegevens enigszins veranderen: het gaat ervan uit verdeling, en meet gevoeligheid voor verandering in deze verdeling. Daarentegen gaat de empirische invloed ervan uit voorbeeldset, en meet gevoeligheid voor verandering in de monsters.^[6]

Laten ${\ displaystyle a}$ wees een convexe subset van de set van alle eindige ondertekende maatregelen op ${\ DisplayStyle \ Sigma}$. We willen de parameter schatten ${\ displayStyle \ theta \ in \ theta}$ van een verdeling ${\ displaystyle f}$ in ${\ displaystyle a}$. Laat het functioneel ${\ displaystyle t: a \ rightarrow \ gamma}$ wees de asymptotische waarde van een of andere schattersequentie ${\ displaystyle (t_ {n}) _ {n \ in \ mathbb {n}}}$. We zullen veronderstellen dat dit functionele is Fisher consistent, d.w.z. ${\ displaystyle \ forall \ theta \ in \ theta, t (f _ {\ theta}) = \ theta}$. Dit betekent dat op het model ${\ displaystyle f}$, de schattersequentie meet asymptotisch de juiste hoeveelheid.

Laten ${\ displaystyle g}$ Wees een verdeling in ${\ displaystyle a}$. Wat gebeurt er als de gegevens het model niet volgen ${\ displaystyle f}$ Precies maar nog een, enigszins anders, "gaan naar" ${\ displaystyle g}$?

We kijken naar: ${\ displaystyle dt_ {g-f} (f) = \ lim _ {t \ rightarrow 0^{+}} {\ frac {t (tg+(1-t) f) -t (f)} {t}}}$,,

welke is de eenzijdig Gateaux derivaat van ${\ displaystyle t}$ Bij ${\ displaystyle f}$, in de richting van ${\ displaystyle g-f}$.

Laten ${\ displaystyle x \ in {\ Mathcal {x}}}$. ${\ displaystyle \ delta _ {x}}$ is de waarschijnlijkheidsmaat die massa 1 tot ${\ DisplayStyle \ {x \}}$. We kiezen ${\ displaystyle g = \ delta _ {x}}$. De invloedsfunctie wordt vervolgens gedefinieerd door:

${\ displaystyle if (x; t; f): = \ lim _ {t \ rightarrow 0^{+}} {\ frac {t (t \ delta _ {x}+(1-t) f) -t ( F)} {t}}.}$

Het beschrijft het effect van een oneindigse besmetting op het punt ${\ displaystyle x}$ Op de schatting die we zoeken, gestandaardiseerd door de massa ${\ displaystyle t}$ van de besmetting (de asymptotische vertekening veroorzaakt door besmetting in de waarnemingen). Voor een robuuste schatter willen we een begrensde invloedsfunctie, dat wil zeggen een die niet naar oneindig gaat als X willekeurig groot wordt.

Wenselijke eigenschappen

Eigenschappen van een invloedsfunctie die deze schenken aan gewenste prestaties zijn:

1. Eindig afwijzingspunt ${\ displayStyle \ rho ^{*}}$,
2. Kleine grove-errorgevoeligheid ${\ DisplayStyle \ gamma ^{*}}$,
3. Kleine lokale-shift gevoeligheid ${\ DisplayStyle \ Lambda ^{*}}$.

Afwijzingspunt

${\ displaystyle \ rho ^{*}: = \ inf _ {r> 0} \ {r: if (x; t; f) = 0, | x |> r \}}$

GROS-ERROR Gevoeligheid

${\ displayStyle \ gamma ^{*} (t; f): = \ sup _ {x \ in {\ mathcal {x}}} | if (x; t; f) |}$

Gevoeligheid

${\ displayStyle \ lambda ^{*} (t; f): = \ sup _ {(x, y) \ in {\ mathcal {x}} ^{2} \ atop x \ neq y} \ links \ | { \ frac {if (y; t; f) -if (x; t; f)} {y-x}} \ rechts \ |}$

Deze waarde, die veel lijkt op een Lipschitz constant, vertegenwoordigt het effect van het verschuiven van een observatie enigszins van ${\ displaystyle x}$ naar een naburig punt ${\ displaystyle y}$, d.w.z. voeg een observatie toe op ${\ displaystyle y}$ en verwijder er een bij ${\ displaystyle x}$.

M-schatting

(De wiskundige context van deze paragraaf wordt gegeven in de sectie over empirische invloedsfuncties.)

Historisch gezien werden verschillende benaderingen van robuuste schatting voorgesteld, waaronder R-schatting en L-schatting. M-schatters lijken nu echter het veld te domineren als gevolg van hun algemeenheid, hoogbraakpunt en hun efficiëntie. Zien Huber (1981).

M-schatters zijn een generalisatie van Maximale waarschijnlijkheidsschatters (MLES). Wat we proberen te doen met MLE's is om te maximaliseren ${\ DisplayStyle \ Prod _ {i = 1}^{n} f (x_ {i})}$ of, gelijkwaardig, minimaliseren ${\ displaystyle \ sum _ {i = 1}^{n}-\ log f (x_ {i})}$. In 1964 stelde Huber voor om dit te generaliseren tot het minimaliseren van ${\ displaystyle \ sum _ {i = 1}^{n} \ rho (x_ {i})}$, waar ${\ displaystyle \ rho}$ is een functie. MLE zijn daarom een ​​speciaal geval van M-schatters (vandaar de naam: "MAximum waarschijnlijkheidstype "Schatters).

Minimaliseren ${\ displaystyle \ sum _ {i = 1}^{n} \ rho (x_ {i})}$ kan vaak worden gedaan door te differentiëren ${\ displaystyle \ rho}$ en oplossen ${\ displaystyle \ sum _ {i = 1}^{n} \ psi (x_ {i}) = 0}$, waar ${\ displayStyle \ psi (x) = {\ frac {d \ rho (x)} {dx}}}$ (als ${\ displaystyle \ rho}$ heeft een afgeleide).

Verschillende keuzes van ${\ displaystyle \ rho}$ en ${\ displaystyle \ psi}$ is voorgesteld. De twee onderstaande figuren tonen vier ${\ displaystyle \ rho}$ functies en hun overeenkomstige ${\ displaystyle \ psi}$ functies.

Voor vierkante fouten, ${\ displaystyle \ rho (x)}$ Verhoogt met een versnellingspercentage, terwijl het voor absolute fouten met een constante snelheid toeneemt. Wanneer winsorisatie wordt gebruikt, wordt een mengsel van deze twee effecten geïntroduceerd: voor kleine waarden van x, ${\ displaystyle \ rho}$ Verhoogt met het kwadraatpercentage, maar zodra de gekozen drempel is bereikt (1,5 in dit voorbeeld), wordt de toename van de toename constant. Deze winsoriseerde schatter staat ook bekend als de Huber verliesfunctie.

Tukey's biweight (ook bekend als bisquare) functie gedraagt ​​zich op een vergelijkbare manier als de kwadratische foutfunctie eerst, maar voor grotere fouten tapst de functie op.

Eigenschappen van M-schatting

M-schatters hebben niet noodzakelijkerwijs betrekking op een waarschijnlijkheidsdichtheidsfunctie. Daarom kan kant-en-klare benaderingen van gevolgtrekkingen die voortkomen uit de waarschijnlijkheidstheorie die in het algemeen niet kan worden gebruikt.

Er kan worden aangetoond dat M-schatters asymptotisch normaal worden verdeeld, zodat zolang hun standaardfouten kunnen worden berekend, een benadering van inferentie beschikbaar is.

Aangezien M-schatters alleen asymptotisch normaal zijn, kan het voor kleine steekproefgroottes geschikt zijn om een ​​alternatieve benadering van inferentie te gebruiken, zoals de bootstrap. M-schatten zijn echter niet noodzakelijkerwijs uniek (d.w.z. er kan meer dan één oplossing zijn die voldoet aan de vergelijkingen). Het is ook mogelijk dat een bepaald bootstrap -monster meer uitbijters kan bevatten dan het afbraakpunt van de schatter. Daarom is er wat zorg nodig bij het ontwerpen van bootstrap -schema's.

Natuurlijk, zoals we zagen met het voorbeeld van lichte licht, is het gemiddelde alleen normaal verdeeld verdeeld asymptotisch en wanneer uitbijters aanwezig zijn, kan de benadering zelfs voor vrij grote monsters erg slecht zijn. Klassieke statistische tests, inclusief die op basis van het gemiddelde, worden echter meestal hierboven begrensd door de nominale grootte van de test. Hetzelfde geldt niet voor M-schatters en het type I-foutenpercentage kan aanzienlijk boven het nominale niveau liggen.

Deze overwegingen "ongeldig" m-schatting op geen enkele manier "ongeldig". Ze maken alleen maar duidelijk dat enige zorg nodig is bij het gebruik ervan, zoals het geldt voor elke andere schattingsmethode.

Invloed op de functie van een M-schatting

Er kan worden aangetoond dat de invloedsfunctie van een M-schatting ${\ displaystyle t}$ Is evenredig met ${\ displaystyle \ psi}$,^[7] wat betekent dat we de eigenschappen van een dergelijke schatter kunnen afleiden (zoals het afstotingspunt, grove-errorgevoeligheid of lokale-shift gevoeligheid) wanneer we het weten ${\ displaystyle \ psi}$ functie.

${\ displaystyle if (x; t, f) = m^{-1} \ psi (x, t (f))}$

met de ${\ displaystyle p \ maal p}$ gegeven door:

${\ displayStyle m =-\ int _ {\ Mathcal {x}} \ left ({\ frac {\ partial \ psi (x, \ theta)} {\ partial \ theta}}} \ rechts) _ {t (f) } \, df (x).}$

Keuze van ψ en ρ

In veel praktische situaties, de keuze van de ${\ displaystyle \ psi}$ De functie is niet van cruciaal belang voor het verkrijgen van een goede robuuste schatting, en veel keuzes zullen vergelijkbare resultaten opleveren die grote verbeteringen bieden, in termen van efficiëntie en vooringenomenheid, over klassieke schattingen in aanwezigheid van uitbijters.^[8]

Theoretisch, ${\ displaystyle \ psi}$ Functies hebben de voorkeur,^{[verduidelijking nodig]} En de functie BiWight (ook bekend als Bisquare) van Tukey is een populaire keuze. Maronna, Martin & Yohai (2006) Harvtxt -fout: geen doelwit: CiterefMaronnamartinyohai2006 (help) Beveel de biweight -functie aan met efficiëntie op de normale ingestelde op 85%.

Robuuste parametrische benaderingen

M-schatters hebben niet noodzakelijkerwijs betrekking op een dichtheidsfunctie en zijn dus niet volledig parametrisch. Volledig parametrische benaderingen van robuuste modellering en inferentie, zowel Bayesiaanse als waarschijnlijkheidsbenaderingen, hebben meestal betrekking op distributies met zware staart, zoals die van studenten t-verdeling.

Voor de t-distributie met ${\ DisplayStyle \ nu}$ dat kan worden aangetoond

${\ displaystyle \ psi (x) = {\ frac {x} {x^{2}+\ nu}}.}$

Voor ${\ DisplayStyle \ nu = 1}$, de t-Distributie is gelijk aan de cauchy -verdeling. De vrijheidsgraden wordt soms wel de Kurtosis parameter. Het is de parameter die bepaalt hoe zwaar de staarten zijn. In principe, ${\ DisplayStyle \ nu}$ kan worden geschat uit de gegevens op dezelfde manier als elke andere parameter. In de praktijk is het gebruikelijk dat er meerdere lokale maxima is wanneer ${\ DisplayStyle \ nu}$ mag variëren. Als zodanig is het gebruikelijk om op te lossen ${\ DisplayStyle \ nu}$ tegen een waarde rond 4 of 6. De onderstaande afbeelding geeft de ${\ displaystyle \ psi}$-functie voor 4 verschillende waarden van ${\ DisplayStyle \ nu}$.

Voorbeeld: gegevens van de lichtsnelheid

Voor de snelheidsgegevens, waardoor de parameter kurtosis kan variëren en de waarschijnlijkheid maximaliseert, krijgen we

${\ displayStyle {\ hat {\ mu}} = 27.40, {\ hat {\ sigma}} = 3.81, {\ hat {\ nu}} = 2.13.}$

Het vaststellen ${\ DisplayStyle \ nu = 4}$ en het maximaliseren van de kans geeft

${\ displayStyle {\ hat {\ mu}} = 27.49, {\ hat {\ sigma}} = 4.51.}$

Gerelateerde concepten

A centrale hoeveelheid is een functie van gegevens, waarvan de onderliggende bevolkingsverdeling lid is van een parametrische familie, die niet afhankelijk is van de waarden van de parameters. Een aanvullende statistiek is zo'n functie die ook een statistiek is, wat betekent dat deze alleen in termen van de gegevens wordt berekend. Dergelijke functies zijn robuust voor parameters in de zin dat ze onafhankelijk zijn van de waarden van de parameters, maar niet robuust voor het model in de zin dat ze een onderliggend model (parametrische familie) aannemen, en in feite zijn dergelijke functies vaak erg gevoelig voor Overtredingen van de aannames van het model. Dus teststatistieken, vaak geconstrueerd in termen van deze om niet gevoelig te zijn voor veronderstellingen over parameters, zijn nog steeds erg gevoelig voor modelaannames.

Outliers en ontbrekende waarden vervangen

Vervangend ontbrekende gegevens wordt genoemd toegeven. Als er relatief weinig ontbrekende punten zijn, zijn er enkele modellen die kunnen worden gebruikt om waarden te schatten om de serie te voltooien, zoals het vervangen van ontbrekende waarden door het gemiddelde of mediaan van de gegevens. Eenvoudige lineaire regressie Kan ook worden gebruikt om ontbrekende waarden te schatten.^{[9][onvolledig kort citaat]} In aanvulling, uitbijters Kan soms in de gegevens worden ondergebracht door het gebruik van getrimde middelen, andere schaalschatters, afgezien van standaardafwijking (bijv. MAD) en winsorisatie.^[10] In berekeningen van een getrimd gemiddelde wordt een vast percentage gegevens uit elk uiteinde van een geordende gegevens gedropt, waardoor de uitbijters worden geëlimineerd. Het gemiddelde wordt vervolgens berekend met behulp van de resterende gegevens. Winseliserend omvat het ondernemen van een uitbijter door deze te vervangen door de volgende hoogste of volgende kleinste waarde, indien van toepassing.^[11]

Het gebruik van dit soort modellen om ontbrekende waarden of uitbijters in een lange tijdreeksen te voorspellen is echter moeilijk en vaak onbetrouwbaar, vooral als het aantal te volgen waarden relatief hoog is in vergelijking met de totale recordlengte. De nauwkeurigheid van de schatting hangt af van hoe goed en representatief het model is en hoe lang de periode van ontbrekende waarden zich uitstrekt.^[12] Wanneer in een serie dynamische evolutie wordt aangenomen, wordt het probleem met ontbrekende gegevenspunt een oefening in multivariate analyse (in plaats van de univariate benadering van de meeste traditionele methoden voor het schatten van ontbrekende waarden en uitbijters). In dergelijke gevallen zal een multivariate model representatiever zijn dan een univariate voor het voorspellen van ontbrekende waarden. De Kohonen zelf organiseren kaart (KSOM) biedt een eenvoudig en robuust multivariate model voor gegevensanalyse, waardoor goede mogelijkheden worden geboden om ontbrekende waarden te schatten, rekening houdend met de relatie of correlatie met andere relevante variabelen in het gegevensrecord.^[11]

Standaard Kalman -filters zijn niet robuust voor uitbijters. Hiertoe Ting, Theodorou & Schaal (2007) hebben onlangs aangetoond dat een wijziging van Masreliez's stelling kan omgaan met uitbijters.

Een veel voorkomende benadering om uitbijters in data -analyse te verwerken, is eerst uitbijterdetectie uit te voeren, gevolgd door een efficiënte schattingsmethode (bijvoorbeeld de minst vierkanten). Hoewel deze aanpak vaak nuttig is, moet men twee uitdagingen in gedachten houden. Ten eerste kan een uitbijterdetectiemethode die afhankelijk is van een niet-robuuste initiële fit lijden aan het effect van maskering, dat wil zeggen dat een groep uitbijters elkaar kunnen maskeren en ontsnappen aan detectie.^[13] Ten tweede, als een initiële fit met hoge afbraak wordt gebruikt voor uitbijterdetectie, kan de follow-upanalyse een deel van de inefficiënties van de initiële schatter erven.^[14]

Zie ook

• Robuuste betrouwbaarheidsintervallen
• Robuuste regressie
• Eenheid-gewogen regressie

Aantekeningen

Referenties

• Farcomeni, A.; Greco, L. (2013), Robuuste methoden voor gegevensreductie, Boca Raton, FL: Chapman & Hall/CRC Press, ISBN 978-1-4665-9062-5.
• Hampel, Frank R.; Ronchetti, Elvezio M.; Rousseeuw, Peter J.; Stahel, Werner A. (1986), Robuuste statistieken, Wiley -serie in waarschijnlijkheid en wiskundige statistieken: waarschijnlijkheid en wiskundige statistieken, New York: John Wiley & Sons, Inc., ISBN 0-471-82921-8, DHR 0829458. Opnieuw gepubliceerd in paperback, 2005.
• Hij Xuming; Portnoy, Stephen (1992), "REWighted LS -schatters convergeren met hetzelfde tempo als de initiële schatter", Annals of Statistics, 20 (4): 2161–2167, doen:10.1214/AOS/1176348910, DHR 1193333.
• Hij Xuming; Simpson, Douglas G.; Portnoy, Stephen L. (1990), "Breakdown Robustness of Tests", Journal of the American Statistical Association, 85 (410): 446–452, doen:10.2307/2289782, Jstor 2289782, DHR 1141746.
• Hettmanperger, T. P.; McKean, J. W. (1998), Robuuste niet -parametrische statistische methoden, Kendall's Library of Statistics, Vol. 5, New York: John Wiley & Sons, Inc., ISBN 0-340-54937-8, DHR 1604954. 2nd ed., CRC Press, 2011.
• Huber, Peter J. (1981), Robuuste statistieken, New York: John Wiley & Sons, Inc., ISBN 0-471-41805-6, DHR 0606374. Opnieuw gepubliceerd in paperback, 2004. 2nd ed., Wiley, 2009.
• Maronna, Ricardo A.; Martin, R. Douglas; Yohai, Victor J.; Salibián-Barrera, Matías (2019), Robuuste statistieken: theorie en methoden (met R), Wiley Series in waarschijnlijkheid en statistieken (2e ed.), Chichester: John Wiley & Sons, Ltd., doen:10.1002/9781119214656, ISBN 978-1-119-21468-7.
• McBean, Edward A.; Rovers, Frank (1998), Statistische procedures voor analyse van gegevens van het milieu -monitoring en beoordeling, Prentice-Hall.
• Portnoy, Stephen; Hij Xuming (2000), "Een robuuste reis in het nieuwe millennium", Journal of the American Statistical Association, 95 (452): 1331–1335, doen:10.2307/2669782, Jstor 2669782, DHR 1825288.
• Press, William H.; Teukolsky, Saul A.; Vetterling, William T.; Flannery, Brian P. (2007), "Sectie 15.7. Robuuste schatting", Numerieke recepten: The Art of Scientific Computing (3e ed.), Cambridge University Press, ISBN 978-0-521-88068-8, DHR 2371990.
• Rosen, C.; Lennox, J.A. (Oktober 2001), "Multivariate en multiscale monitoring van afvalwaterzuiveringsoperatie", Wateronderzoek, 35 (14): 3402–3410, doen:10.1016/S0043-1354 (01) 00069-0, Pmid 11547861.
• Rousseeuw, Peter J.; Croux, Christophe (1993), "Alternatieven voor de mediane absolute afwijking", Journal of the American Statistical Association, 88 (424): 1273–1283, doen:10.2307/2291267, Jstor 2291267, DHR 1245360.
• Rousseeuw, Peter J.; Leroy, Annick M. (1987), Robuuste regressie en uitbijterdetectie, Wiley -serie in waarschijnlijkheid en wiskundige statistieken: toegepaste waarschijnlijkheid en statistieken, New York: John Wiley & Sons, Inc., doen:10.1002/0471725382, ISBN 0-471-85233-3, DHR 0914792. Opnieuw gepubliceerd in paperback, 2003.
• Rousseeuw, Peter J.; Hubert, Mia (2011), "Robuuste statistieken voor uitbijterdetectie", Wiley interdisciplinaire beoordelingen: datamining en kennisontdekking, 1 (1): 73–79, doen:10.1002/widm.2, S2CID 17448982. Voordruk
• Rustum, Rabee; Adeloye, Adebayo J. (september 2007), "Outliers vervangen en vermiste waarden uit geactiveerde slibgegevens met behulp van Kohonen zelforganiserende kaart", Journal of Environmental Engineering, 133 (9): 909–916, doen:10.1061/(ASCE) 0733-9372 (2007) 133: 9 (909).
• Stigler, Stephen M. (2010), "De veranderende geschiedenis van robuustheid", De Amerikaanse statisticus, 64 (4): 277–281, doen:10.1198/smak.2010.10159, DHR 2758558, S2CID 10728417.
• Ting, Jo-Anne; Theodorou, Evangelos; Schaal, Stefan (2007), "Een Kalman -filter voor robuuste uitbijterdetectie", Internationale conferentie over intelligente robots en systemen - IRO's, pp. 1514–1519.
• Von Mises, R. (1947), "Over de asymptotische verdeling van differentiële statistische functies", Annals of Mathematical Statistics, 18 (3): 309–348, doen:10.1214/AOMS/1177730385, DHR 0022330.
• Wilcox, Rand (2012), Inleiding tot robuuste schatting en hypothese -testen, Statistical Modellering and Decision Science (3rd ed.), Amsterdam: Elsevier/Academic Press, pp. 1–22, doen:10.1016/B978-0-12-386983-8.00001-9, ISBN 978-0-12-386983-8, DHR 3286430.

Externe links

• Brian Ripley's Robuuste statistieken Cursusnotities.
• Nick Fieller's cursusnotities over statistische modellering en berekening bevatten materiaal over robuuste regressie.
• David Olive's site Bevat cursusnotities over robuuste statistieken en sommige gegevenssets.
• Online experimenten met R en JSXGraph