Variantieanalyse

Variantieanalyse (ANOVA) is een verzameling van Statistische modellen en de bijbehorende schattingsprocedures (zoals de "variatie" tussen en tussen groepen) die worden gebruikt om de verschillen tussen middelen te analyseren. ANOVA is ontwikkeld door de statisticus Ronald Fisher. ANOVA is gebaseerd op de Wet van totale variantie, waar de waargenomen variantie In een bepaalde variabele wordt verdeeld in componenten die toe te schrijven zijn aan verschillende bronnen van variatie. In zijn eenvoudigste vorm biedt ANOVA een statistische test van of twee of meer bevolking middelen zijn gelijk en generaliseert daarom de t-testen voorbij twee middelen. Met andere woorden, de ANOVA wordt gebruikt om het verschil tussen twee of meer middelen te testen.

Geschiedenis

Terwijl de variantieanalyse in de 20e eeuw werd uitgesproken, reiken antecedenten de eeuwen in het verleden volgens Stigler.^[1] Deze omvatten hypothesetesten, de verdeling van sommen vierkanten, experimentele technieken en het additieve model. Laplace voerde hypothesetesten uit in de jaren 1770.^[2] Rond 1800, Laplace en Gauss ontwikkelde de kleinste kwadratenmethode voor het combineren van observaties, die verbeterden bij methoden die vervolgens werden gebruikt in astronomie en geodesy. Het startte ook veel onderzoek naar de bijdragen aan sommen vierkanten. Laplace wist hoe hij een variantie kon schatten van een resterende (in plaats van een totale) som van vierkanten.^[3] Tegen 1827 gebruikte Laplace minst vierkanten Methoden om ANOVA -problemen aan te pakken met betrekking tot metingen van atmosferische getijden.^[4] Vóór 1800 hadden astronomen geïsoleerde observatiefouten als gevolg van reactietijden (de "Persoonlijke vergelijking") en had methoden ontwikkeld om de fouten te verminderen.^[5] De experimentele methoden die werden gebruikt bij de studie van de persoonlijke vergelijking werden later geaccepteerd door het opkomende veld van psychologie ^[6] die sterke (volledige factorale) experimentele methoden ontwikkelden waaraan randomisatie en verblindende snel werden toegevoegd.^[7] Een welsprekende niet-netmatische verklaring van het additieve effectenmodel was beschikbaar in 1885.^[8]

Ronald Fisher geïntroduceerd de term variantie en stelde de formele analyse voor in een artikel uit 1918 De correlatie tussen familieleden op de veronderstelling van Mendeliaanse erfenis.^[9] Zijn eerste toepassing van de variantieanalyse werd gepubliceerd in 1921.^[10] Variantieanalyse werd algemeen bekend nadat hij was opgenomen in Fisher's Book uit 1925 Statistische methoden voor onderzoekswerkers.

Randomisatiemodellen zijn ontwikkeld door verschillende onderzoekers. De eerste werd gepubliceerd in het Pools door Jerzy Neyman in 1923.^[11]

Voorbeeld

De variantieanalyse kan worden gebruikt om anders complexe relaties tussen variabelen te beschrijven. Een hondenshow biedt een voorbeeld. Een hondenshow is geen willekeurige steekproef van het ras: het is meestal beperkt tot honden die volwassen, zuiver en voorbeeldig zijn. Een histogram van hondengewichten uit een show kan aannemelijk nogal complex zijn, zoals de geeloranje verdeling in de illustraties. Stel dat we het gewicht van een hond wilden voorspellen op basis van een bepaalde reeks kenmerken van elke hond. Een manier om dat te doen is tot uitleggen De verdeling van gewichten door de hondenpopulatie te verdelen in groepen op basis van die kenmerken. Een succesvolle groepering zal honden splitsen, zodat (a) elke groep een lage variantie van hondengewichten heeft (wat betekent dat de groep relatief homogeen is) en (b) het gemiddelde van elke groep is verschillend (als twee groepen hetzelfde gemiddelde hebben, dan is het is niet redelijk om te concluderen dat de groepen op een zinvolle manier in feite gescheiden zijn).

In de illustraties rechts worden groepen geïdentificeerd als X₁, X₂, enz. In de eerste illustratie zijn de honden verdeeld volgens het product (interactie) van twee binaire groeperingen: jonge versus oud en kortharig versus langharige (bijvoorbeeld groep 1 is jonge, kortharige honden, groep 2 is jonge, langharige honden, enz.). Aangezien de verdelingen van hondengewicht binnen elk van de groepen (in het blauw weergegeven) een relatief grote variantie hebben, en aangezien de middelen erg vergelijkbaar zijn tussen groepen, produceert het groeperen van honden door deze kenmerken geen effectieve manier om de variatie in hondengewichten te verklaren : Weten in welke groep een hond zit, stelt ons niet toe om zijn gewicht veel beter te voorspellen dan alleen maar weten dat de hond in een hondenshow zit. Deze groepering verklaart dus de variatie in de algehele verdeling (geeloranje) niet.

Een poging om de gewichtsverdeling uit te leggen door honden te groeperen als huisdier versus werkende ras en Minder atletisch versus meer atletisch Zou waarschijnlijk iets succesvoller zijn (redelijk). De zwaarste showhonden zijn waarschijnlijk groot, sterke, werkende rassen, terwijl rassen als huisdieren meestal kleiner en dus lichter zijn. Zoals blijkt uit de tweede illustratie, hebben de verdelingen varianties die aanzienlijk kleiner zijn dan in het eerste geval, en de middelen zijn meer te onderscheiden. De significante overlap van verdelingen betekent echter bijvoorbeeld dat we geen onderscheid kunnen maken X₁ en X₂ betrouwbaar. Het groeperen van honden volgens een muntflip kan distributies produceren die er vergelijkbaar uitzien.

Een poging om gewicht uit te leggen per ras zal waarschijnlijk een zeer goede pasvorm opleveren. Alle Chihuahuas zijn licht en alle St Bernards zijn zwaar. Het verschil in gewichten tussen setters en aanwijzingen rechtvaardigt geen afzonderlijke rassen. De variantieanalyse biedt de formele hulpmiddelen om deze intuïtieve oordelen te rechtvaardigen. Een veel voorkomend gebruik van de methode is de analyse van experimentele gegevens of de ontwikkeling van modellen. De methode heeft enkele voordelen ten opzichte van correlatie: niet alle gegevens moeten numeriek zijn en een resultaat van de methode is een oordeel in het vertrouwen in een verklarende relatie.

Klassen van modellen

Er zijn drie klassen modellen gebruikt bij de variantieanalyse, en deze worden hier beschreven.

Modellen met vaste effecten

Het model met vaste effecten (Klasse I) van variantieanalyse is van toepassing op situaties waarin de experimentator een of meer behandelingen toepast op de onderwerpen van het experiment om te zien of de responsvariabele waarden veranderen. Hierdoor kan de experimentator de reeksen responsvariabele waarden schatten die de behandeling in de populatie als geheel zou genereren.

Random-effects modellen

Random-effects model (Klasse II) wordt gebruikt wanneer de behandelingen niet zijn vastgesteld. Dit gebeurt wanneer de verschillende factorniveaus worden bemonsterd uit een grotere populatie. Omdat de niveaus zelf zijn willekeurige variabelen, sommige veronderstellingen en de methode om de behandelingen te contrasteren (een multi-variabele generalisatie van eenvoudige verschillen) verschillen van het model met vaste effecten.^[12]

Modellen met gemengde effecten

Een model met gemengd effect (klasse III) bevat experimentele factoren van zowel vaste als willekeurige effecten, met passende verschillende interpretaties en analyse voor de twee typen.

Voorbeeld

Onderwijsexperimenten kunnen worden uitgevoerd door een universiteits- of universiteitsafdeling om een ​​goed inleidend leerboek te vinden, waarbij elke tekst als een behandeling wordt beschouwd. Het model met vaste effecten zou een lijst met kandidaat-teksten vergelijken. Het willekeurige effectmodel zou bepalen of er belangrijke verschillen bestaan ​​tussen een lijst met willekeurig geselecteerde teksten. Het model met gemengde effecten zou de (vaste) gevestigde teksten vergelijken met willekeurig geselecteerde alternatieven.

Het definiëren van vaste en willekeurige effecten is ongrijpbaar gebleken, met concurrerende definities die aantoonbaar leiden naar een taalkundige moeras.^[13]

Aannames

De variantieanalyse is onderzocht uit verschillende benaderingen, waarvan de meest voorkomende een lineair model Dat relateert de reactie op de behandelingen en blokken. Merk op dat het model lineair is in parameters, maar mogelijk niet -lineair is over factorniveaus. Interpretatie is eenvoudig wanneer gegevens in evenwicht zijn tussen factoren, maar veel dieper begrip is nodig voor onevenwichtige gegevens.

Textboekanalyse met behulp van een normale verdeling

De variantieanalyse kan worden gepresenteerd in termen van een lineair model, die de volgende veronderstellingen maakt over de waarschijnlijkheidsverdeling van de antwoorden:^{[14][15][16][17]}

• Onafhankelijkheid van waarnemingen - Dit is een veronderstelling van het model dat de statistische analyse vereenvoudigt.
• Normaliteit - De distributies van de residuen zijn normaal.
• Gelijkheid (of "homogeniteit") van varianties, genoemd homosedasticiteit—De variantie van gegevens in groepen moet hetzelfde zijn.

De afzonderlijke veronderstellingen van het leerboekmodel impliceren dat de fouten zijn onafhankelijk, identiek en normaal verdeeld voor modellen met vaste effecten, dat wil zeggen dat de fouten (${\ DisplayStyle \ Varepsilon}$) zijn onafhankelijk en

Op randomisatie gebaseerde analyse

In een gerandomiseerd gecontroleerd experiment, de behandelingen worden willekeurig toegewezen aan experimentele eenheden, volgens het experimentele protocol. Deze randomisatie is objectief en verklaard voordat het experiment wordt uitgevoerd. De objectieve willekeurige toewijzing wordt gebruikt om de betekenis van de nulhypothese, het volgen van de ideeën van C. S. Peirce en Ronald Fisher. Deze op ontwerp gebaseerde analyse is besproken en ontwikkeld door Francis J. Anscombe Bij Rothamsted experimenteel station en bij Oscar Kempthorne Bij Iowa State University.^[18] Kempthorne en zijn studenten veronderstellen van Additiviteit van eenheidsbehandeling, die wordt besproken in de boeken van Kempthorne en David R. Cox.^[19][20]

Additiviteit van eenheid-behandeling

In zijn eenvoudigste vorm, de veronderstelling van additiviteit van eenheid-behandeling^{[NB 1]} stelt dat de waargenomen reactie ${\ displaystyle y_ {i, j}}$ van experimentele eenheid ${\ displaystyle i}$ Bij het ontvangen van een behandeling ${\ displaystyle j}$ kan worden geschreven als de som van het antwoord van de eenheid ${\ displaystyle y_ {i}}$ en de behandelingseffect ${\ displaystyle t_ {j}}$, dat is ^[21][22][23]

De veronderstelling van additiviteit van eenheid-behandeling houdt in dat voor elke behandeling ${\ displaystyle j}$, de ${\ displaystyle j}$De behandeling heeft precies hetzelfde effect ${\ displaystyle t_ {j}}$ Op elke experimenteenheid.

De veronderstelling van additiviteit van eenheidsbehandeling kan meestal niet direct zijn vervalst, volgens Cox en Kempthorne. Echter velen gevolgen van additiviteit van behandelings-eenheid kan worden vervalst. Voor een gerandomiseerd experiment, de veronderstelling van additiviteit van eenheid-behandeling impliceert dat de variantie constant is voor alle behandelingen. Daarom door tegenstelling, Een noodzakelijke voorwaarde voor additiviteit van eenheidsbehandeling is dat de variantie constant is.

Het gebruik van eenheidsbehandelingsadditiviteit en randomisatie is vergelijkbaar met de op ontwerp gebaseerde inferentie die standaard is in eindige populatie Survey Sampling.

Afgeleid lineair model

Kempthorne gebruikt de randomisatiedistributie en de veronderstelling van Additiviteit van eenheidsbehandeling om een afgeleid lineair model, erg vergelijkbaar met het eerder besproken leerboekmodel.^[24] De teststatistieken van dit afgeleide lineaire model worden nauw benaderd door de teststatistieken van een geschikt normaal lineair model, volgens benaderingsstaten en simulatiestudies.^[25] Er zijn echter verschillen. De op randomisatie gebaseerde analyse resulteert bijvoorbeeld in een kleine maar (strikt) negatieve correlatie tussen de waarnemingen.^[26][27] In de op randomisatie gebaseerde analyse is er Geen veronderstelling van een normaal distributie en zeker Geen veronderstelling van onafhankelijkheid. Integendeel, De waarnemingen zijn afhankelijk!

De op randomisatie gebaseerde analyse heeft het nadeel dat de expositie ervan vervallen algebra en uitgebreide tijd omvat. Omdat de op randomisatie gebaseerde analyse ingewikkeld is en nauw wordt benaderd door de aanpak met behulp van een normaal lineair model, benadrukken de meeste leraren de normale lineaire modelbenadering. Weinig statistici bezwaar maken tegen modelgebaseerde analyse van gebalanceerde gerandomiseerde experimenten.

Statistische modellen voor observatiegegevens

Wanneer echter toegepast op gegevens van niet-gerandomiseerde experimenten of observatie studies, modelgebaseerde analyse mist het bevel voor randomisatie.^[28] Voor observatiegegevens moet de afleiding van betrouwbaarheidsintervallen gebruiken subjectief modellen, zoals benadrukt door Ronald Fisher en zijn volgelingen. In de praktijk zijn de schattingen van behandelingseffecten uit observatiestudies in het algemeen vaak inconsistent. In de praktijk zijn "statistische modellen" en observatiegegevens nuttig voor het suggereren van hypothesen die door het publiek zeer voorzichtig moeten worden behandeld.^[29]

Samenvatting van veronderstellingen

De op normaal model gebaseerde ANOVA-analyse veronderstelt de onafhankelijkheid, normaliteit en homogeniteit van varianties van de residuen. De op randomisatie gebaseerde analyse veronderstelt alleen de homogeniteit van de varianties van de residuen (als gevolg van additiviteit van eenheid-behandeling) en gebruikt de randomisatieprocedure van het experiment. Beide analyses vereisen homosedasticiteit, als een veronderstelling voor de analyse van het normale model en als gevolg van randomisatie en additiviteit voor de op randomisatie gebaseerde analyse.

Studies van processen die varianties veranderen in plaats van gemiddelden (dispersie -effecten genoemd) zijn echter met succes uitgevoerd met behulp van ANOVA.^[30] Er zijn nee noodzakelijke veronderstellingen voor ANOVA in zijn volledige algemeenheid, maar de F-Test gebruikt voor ANOVA -hypothese -testen heeft veronderstellingen en praktische beperkingen die van voortdurende belangstelling zijn.

Problemen die niet voldoen aan de veronderstellingen van ANOVA kunnen vaak worden getransformeerd om aan de veronderstellingen te voldoen. De eigenschap van additiviteit van eenheid-behandeling is niet invariant onder een "schaalverandering", dus statistici gebruiken vaak transformaties om additiviteit van eenheidsbehandeling te bereiken. Als naar verwachting de responsvariabele een parametrische familie van waarschijnlijkheidsverdelingen zal volgen, kan de statisticus specificeren (in het protocol voor het experiment of de observationele studie) dat de reacties worden getransformeerd om de variantie te stabiliseren.^[31] Ook kan een statisticus specificeren dat logaritmische transformaties worden toegepast op de antwoorden, waarvan wordt aangenomen dat ze een multiplicatief model volgen.^[22][32] Volgens Cauchy's functionele vergelijking Stelling, de logaritme is de enige continue transformatie die echte vermenigvuldiging transformeert naar toevoeging.

Kenmerken

ANOVA wordt gebruikt bij de analyse van vergelijkende experimenten, die alleen het verschil in uitkomsten van belang is. De statistische significantie van het experiment wordt bepaald door een verhouding van twee varianties. Deze verhouding is onafhankelijk van verschillende mogelijke veranderingen in de experimentele waarnemingen: het toevoegen van een constante aan alle waarnemingen verandert de significantie niet. Het vermenigvuldigen van alle waarnemingen met een constante verandert de significantie niet. Dus ANOVA -statistisch significantieresultaat is onafhankelijk van constante bias- en schaalfouten, evenals de eenheden die worden gebruikt bij het uitdrukken van waarnemingen. In het tijdperk van mechanische berekening was het gebruikelijk om een ​​constante af te trekken van alle waarnemingen (wanneer gelijkwaardig aan het laten vallen van toonaangevende cijfers) om gegevensinvoer te vereenvoudigen.^[33][34] Dit is een voorbeeld van gegevens codering.

Logica

De berekeningen van ANOVA kunnen worden gekenmerkt als het berekenen van een aantal middelen en varianties, het delen van twee varianties en het vergelijken van de verhouding tot een handboekwaarde om de statistische significantie te bepalen. Het berekenen van een behandelingseffect is dan triviaal: "Het effect van een behandeling wordt geschat door het verschil te nemen tussen het gemiddelde van de waarnemingen die de behandeling krijgen en het algemene gemiddelde".^[35]

Verdeling van de som van vierkanten

ANOVA gebruikt traditionele gestandaardiseerde terminologie. De definitieve vergelijking van steekproefvariantie is ${\ textstyle S^{2} = {\ frac {1} {n-1}} \ sum _ {i} (y_ {i}-{\ bar {y}})^{2}}$, waarbij de deler de vrijheidsgraden (DF) wordt genoemd, wordt de sommatie de som van vierkanten (SS) genoemd, het resultaat wordt het gemiddelde vierkant (MS) genoemd en de vierkante termen zijn afwijkingen van het monstergemiddelde. ANOVA schat 3 steekproefvarianties: een totale variantie op basis van alle observatieafwijkingen van het grote gemiddelde, een foutvariantie op basis van alle observatieafwijkingen van hun juiste behandelingsmiddelen en een behandelingsvariantie. De behandelingsvariantie is gebaseerd op de afwijkingen van behandelingsmiddelen van het grote gemiddelde, waarbij het resultaat wordt vermenigvuldigd met het aantal waarnemingen in elke behandeling om het verschil te verklaren tussen de variantie van waarnemingen en de variantie van middelen.

De fundamentele techniek is een verdeling van het totaal som van de kwadraten Ss in componenten gerelateerd aan de effecten die in het model worden gebruikt. Het model voor een vereenvoudigde ANOVA met één type behandeling op verschillende niveaus bijvoorbeeld.

Het aantal graden van vrijheid DF kan op een vergelijkbare manier worden verdeeld: een van deze componenten (die voor fouten) specificeert een Chi-kwadraatverdeling die de bijbehorende som van vierkanten beschrijft, terwijl hetzelfde geldt voor "behandelingen" als er geen behandelingseffect is.

De F-testen

De F-testen wordt gebruikt voor het vergelijken van de factoren van de totale afwijking. Bijvoorbeeld, in eenrichtings- of ANOVA met één factor, wordt statistische significantie getest door de F-teststatistiek te vergelijken

waar MEVROUW is gemiddeld vierkant, ${\ displaystyle i}$ is het aantal behandelingen en ${\ displaystyle n_ {t}}$ is het totale aantal gevallen

naar de F-verdeling met ${\ DisplayStyle I-1}$, ${\ displaystyle n_ {t} -i}$ graden van vrijheid. De ... gebruiken F-Distributie is een natuurlijke kandidaat omdat de teststatistiek de verhouding is van twee geschaalde bedragen van vierkanten die elk een geschaalde volgen Chi-kwadraatverdeling.

De verwachte waarde van f is ${\ displaystyle 1+ {n \ sigma _ {\ text {behandeling}}^{2}}/{\ sigma _ {\ text {error}}^{2}}}$ (waar ${\ displaystyle n}$ is de steekproefomvang van de behandeling) die 1 is voor geen behandelingseffect. Naarmate de waarden van F boven 1 toenemen, wordt het bewijs steeds meer inconsistent met de nulhypothese. Twee schijnbare experimentele methoden voor het verhogen van F verhogen de steekproefomvang en het verminderen van de foutvariantie door strakke experimentele controles.

Er zijn twee methoden om de ANOVA -hypothesetest af te ronden, die beide hetzelfde resultaat opleveren:

• De handboekmethode is om de waargenomen waarde van F te vergelijken met de kritische waarde van F bepaald uit tabellen. De kritische waarde van F is een functie van de vrijheidsgraden van de teller en de noemer en het significantieniveau (α). Als f ≥ f_Kritisch, de nulhypothese wordt afgewezen.
• De computermethode berekent de waarschijnlijkheid (p-waarde) van een waarde van f groter dan of gelijk aan de waargenomen waarde. De nulhypothese wordt afgewezen als deze kans kleiner is dan of gelijk is aan het significantieniveau (α).

De ANOVA F-test is bekend dat het bijna optimaal is in de zin van het minimaliseren van valse negatieve fouten voor een vaste snelheid van valse positieve fouten (d.w.z. het maximaliseren van het vermogen voor een vast significantieniveau). Bijvoorbeeld om de hypothese te testen dat verschillende medische behandelingen exact hetzelfde effect hebben, de F-testen's p-waarden benaderen de permutatietest's p-waarden: De benadering is bijzonder dichtbij wanneer het ontwerp in evenwicht is.^[25][36] Zo een Permutatietests karakteriseren Tests met maximaal vermogen tegen alle alternatieve hypothesen, zoals waargenomen door Rosenbaum.^{[NB 2]} De ANOVA F-Test (van de nulhypothese dat alle behandelingen exact hetzelfde effect hebben) wordt aanbevolen als een praktische test, vanwege de robuustheid ervan tegen veel alternatieve distributies.^{[37][NB 3]}

Uitgebreide logica

ANOVA bestaat uit scheidbare delen; Partitioneringsbronnen van variantie en hypothesetesten kunnen afzonderlijk worden gebruikt. ANOVA wordt gebruikt om andere statistische hulpmiddelen te ondersteunen. Regressie wordt eerst gebruikt om meer complexe modellen voor gegevens te passen, waarna ANOVA wordt gebruikt om modellen te vergelijken met als doel eenvoudige (R) modellen te selecteren die de gegevens adequaat beschrijven. "Dergelijke modellen kunnen fit zijn zonder enige verwijzing naar ANOVA, maar ANOVA -tools kunnen dan worden gebruikt om enig gevoel te hebben op de gepaste modellen en om hypothesen over batches van coëfficiënten te testen."^[38] "[W] e beschouwen de variantieanalyse als een manier om modellen op meerdere niveaus te begrijpen en te structureren-niet als een alternatief voor regressie, maar als een hulpmiddel voor het samenvatten van complexe hoogdimensionale conclusies ..."^[38]

Voor een enkele factor

Het eenvoudigste experiment dat geschikt is voor ANOVA -analyse is het volledig gerandomiseerde experiment met een enkele factor. Meer complexe experimenten met een enkele factor omvatten beperkingen op randomisatie en omvatten volledig gerandomiseerde blokken en Latijnse vierkanten (en varianten: GRAECO-LATINE-vierkanten, enz.). De meer complexe experimenten delen veel van de complexiteiten van meerdere factoren. Een relatief volledige bespreking van de analyse (modellen, gegevenssamenvattingen, ANOVA -tabel) van het volledig gerandomiseerde experiment is verkrijgbaar.

Er zijn enkele alternatieven voor conventionele eenrichtingsvariantieanalyse, bijvoorbeeld: Welch's heteroscedastic F-test, Welch's heteroscedastic F-test met getrimde middelen en winsoriseerde varianties, bruin-forsythe test, Alexander-Govern-test, James Second Order Test en Kruskal-Wallis Test , beschikbaar in OneWaytests R

Het is nuttig om elk gegevenspunt in de volgende vorm weer te geven, een statistisch model genoemd:

waar

• i = 1, 2, 3, ..., R
• j = 1, 2, 3, ..., C
• μ = Algemeen gemiddelde (gemiddeld)
• τ_j = Differentiaal effect (respons) geassocieerd met de j niveau van x;
  Dit veronderstelt dat over het algemeen de waarden van τ_j toevoegen aan nul (dat wil zeggen, ${\ textstyle \ sum _ {j = 1}^{c} \ tau _ {j} = 0}$)
• ε_IJ = ruis of fout geassocieerd met het specifieke IJ gegevenswaarde

Dat wil zeggen, we stellen ons een additief model voor dat zegt dat elk gegevenspunt kan worden weergegeven door drie hoeveelheden op te tellen: het ware gemiddelde, gemiddeld over alle factorniveaus die worden onderzocht, plus een incrementele component geassocieerd met de specifieke kolom (factor niveau), plus een finale component geassocieerd met al het andere dat van invloed is op die specifieke gegevenswaarde.

Voor meerdere factoren

ANOVA generaliseert naar de studie van de effecten van meerdere factoren. Wanneer het experiment waarnemingen omvat bij alle combinaties van niveaus van elke factor, wordt het genoemd faculteit. Factorische experimenten zijn efficiënter dan een reeks experimenten met één factor en de efficiëntie groeit naarmate het aantal factoren toeneemt.^[39] Bijgevolg worden facultaire ontwerpen zwaar gebruikt.

Het gebruik van ANOVA om de effecten van meerdere factoren te bestuderen, heeft een complicatie. In een 3-weg ANOVA met factoren X, Y en Z bevat het ANOVA-model termen voor de belangrijkste effecten (X, Y, Z) en voorwaarden voor interacties (XY, XZ, YZ, XYZ). Alle termen vereisen hypothesetests. De proliferatie van interactieverwaarden verhoogt het risico dat een hypothese -test bij toeval een vals positief zal produceren. Gelukkig zegt ervaring dat interacties met hoge orde zeldzaam zijn.^{[40][Verificatie nodig]} Het vermogen om interacties te detecteren is een groot voordeel van ANOVA met meerdere factoren. Het testen van één factor tegelijk verbergt interacties, maar produceert blijkbaar inconsistente experimentele resultaten.^[39]

Voorzichtigheid is geboden bij het tegenkomen van interacties; Test interactietermen eerst en breiden de analyse uit buiten ANOVA als interacties worden gevonden. Teksten variëren in hun aanbevelingen met betrekking tot de voortzetting van de ANOVA -procedure na het tegenkomen van een interactie. Interacties bemoeilijken de interpretatie van experimentele gegevens. Noch de berekeningen van significantie, noch de geschatte behandelingseffecten kunnen tegen de nominale waarde worden genomen. "Een significante interactie zal vaak de betekenis van de belangrijkste effecten maskeren."^[41] Grafische methoden worden aanbevolen om het begrip te vergroten. Regressie is vaak nuttig. Een lange discussie over interacties is beschikbaar in Cox (1958).^[42] Sommige interacties kunnen worden verwijderd (door transformaties), terwijl anderen dat niet kunnen.

Een verscheidenheid aan technieken wordt gebruikt met ANOVA met meerdere factoren om de kosten te verlagen. Een techniek die wordt gebruikt in fabrieksontwerpen is om replicatie te minimaliseren (mogelijk geen replicatie met ondersteuning van Analytische bedrog) en om groepen te combineren wanneer effecten statistisch (of praktisch) onbeduidend zijn. Een experiment met veel onbeduidende factoren kan instorten in één met een paar factoren die door veel replicaties worden ondersteund.^[43]

Bijbehorende analyse

Sommige analyse is vereist ter ondersteuning van de ontwerp van het experiment, terwijl andere analyse wordt uitgevoerd nadat veranderingen in de factoren formeel zijn gevonden om statistisch significante veranderingen in de reacties te veroorzaken. Omdat experimenten iteratief zijn, veranderen de resultaten van één experiment plannen voor het volgen van experimenten.

Voorbereidende analyse

Het aantal experimentele eenheden

In het ontwerp van een experiment is het aantal experimentele eenheden gepland om de doelen van het experiment te bereiken. Experimentatie is vaak sequentieel.

Vroege experimenten zijn vaak ontworpen om gemiddelde onbeveiligde schattingen van behandelingseffecten en van experimentele fouten te bieden. Latere experimenten zijn vaak ontworpen om een ​​hypothese te testen dat een behandelingseffect een belangrijke omvang heeft; In dit geval wordt het aantal experimentele eenheden gekozen zodat het experiment onder andere binnen het budget valt en voldoende macht heeft.

Het rapporteren van steekproefomvanganalyse is over het algemeen vereist in de psychologie. "Geef informatie over de steekproefomvang en het proces dat leidde tot beslissingen over steekproefgrootte."^[44] De analyse, die is geschreven in het experimentele protocol voordat het experiment wordt uitgevoerd, wordt onderzocht in subsidieaanvragen en administratieve beoordelingsborden.

Naast de vermogensanalyse zijn er minder formele methoden voor het selecteren van het aantal experimentele eenheden. Deze omvatten grafische methoden op basis van het beperken van de waarschijnlijkheid van valse negatieve fouten, grafische methoden op basis van een verwachte variatie -toename (boven de residuen) en methoden op basis van het bereiken van een gewenst betrouwbaarheidsinterval.^[45]

Vermogensanalyse

Vermogensanalyse wordt vaak toegepast in de context van ANOVA om de kans te beoordelen om de nulhypothese met succes af te wijzen als we een bepaald ANOVA -ontwerp, effectgrootte in de populatie, steekproefomvang en significantieniveau aannemen. Power Analysis kan helpen bij het ontwerp van de studie door te bepalen welke steekproefomvang nodig zou zijn om een ​​redelijke kans te hebben om de nulhypothese af te wijzen wanneer de alternatieve hypothese waar is.^{[46][47][48][49]}

Effectgrootte

Verschillende gestandaardiseerde effectmaatregelen zijn voorgesteld voor ANOVA om de sterkte van de associatie tussen een voorspeller (s) en de afhankelijke variabele of het algehele gestandaardiseerde verschil van het volledige model samen te vatten. Gestandaardiseerde schattingen van effectformaat vergemakkelijken de vergelijking van bevindingen tussen studies en disciplines. Hoewel gestandaardiseerde effectgroottes vaak worden gebruikt in een groot deel van de professionele literatuur, kan een niet-gestandaardiseerde maatstaf voor de effectgrootte die onmiddellijk "zinvolle" eenheden heeft, mogelijk de voorkeur verdienen voor rapportagedoeleinden.^[50]

Modelbevestiging

Soms worden tests uitgevoerd om te bepalen of de veronderstellingen van ANOVA lijken te worden geschonden. Residuen worden onderzocht of geanalyseerd om te bevestigen homosedasticiteit en grove normaliteit.^[51] Residuen moeten het uiterlijk hebben van (nul gemiddelde normale verdeling) ruis wanneer ze worden uitgezet als een functie van alles wat tijd en gemodelleerde gegevenswaarden. Trends wijzen op interacties tussen factoren of tussen waarnemingen.

Vervolgtests

Een statistisch significant effect in ANOVA wordt vaak gevolgd door extra tests. Dit kan worden gedaan om te beoordelen welke groepen verschillen van andere groepen of om verschillende andere gerichte hypothesen te testen. Follow-up tests worden vaak onderscheiden in termen van of ze "gepland" zijn (a priori) of "Post hoc. "Geplande tests worden bepaald voordat ze naar de gegevens worden bekeken, en post -hoc tests worden alleen opgevat na het bekijken van de gegevens (hoewel de term" post hoc "inconsistent wordt gebruikt).

De vervolgtests kunnen "eenvoudige" paarsgewijze vergelijkingen van individuele groepsmiddelen zijn of kunnen "samengestelde" vergelijkingen zijn (bijvoorbeeld het vergelijken van de gemiddelde pooling over groepen A, B en C met het gemiddelde van groep D). Vergelijkingen kunnen ook kijken naar trendtests, zoals lineaire en kwadratische relaties, wanneer de onafhankelijke variabele geordende niveaus omvat. Vaak bevatten de vervolgtests een methode voor het aanpassen van de Meerdere vergelijkingenprobleem.

Follow-up tests om te bepalen welke specifieke groepen, variabelen of factoren statistisch verschillende middelen hebben, omvatten de Tukey's Range Test, en Duncan's nieuwe multiple range test. Op hun beurt worden deze tests vaak gevolgd met een Compact Letter Display (CLD) Methodologie om de output van de genoemde tests transparanter te maken voor een niet-statistiek publiek.

Studieontwerpen

Er zijn verschillende soorten ANOVA. Veel statistici baseren ANOVA op de Ontwerp van het experiment,^[52] vooral op het protocol dat de willekeurige opdracht van behandelingen voor onderwerpen; De beschrijving van het protocol van het toewijzingsmechanisme moet een specificatie van de structuur van de behandelingen en van elke het blokkeren. Het is ook gebruikelijk om ANOVA toe te passen op observatiegegevens met behulp van een geschikt statistisch model.

Sommige populaire ontwerpen gebruiken de volgende soorten ANOVA:

• Eenrichtings-ANOVA wordt gebruikt om te testen op verschillen tussen twee of meer onafhankelijk Groepen (gemiddelden), b.v. Verschillende niveaus van ureumtoepassing in een gewas, of verschillende niveaus van antibiotische werking op verschillende bacteriesoorten,^[53] of verschillende niveaus van effect van sommige geneeskunde op groepen patiënten. Als deze groepen echter niet onafhankelijk zijn, en er is een orde in de groepen (zoals milde, matige en ernstige ziekte), of in de dosis van een medicijn (zoals 5 mg/ml, 10 mg/ml, 20 mg /ml) gegeven aan dezelfde groep patiënten, dan een Lineaire trendschatting zou gebruikt moeten worden. Meestal wordt de eenrichtings-ANOVA echter gebruikt om te testen op verschillen tussen ten minste drie groepen, omdat het geval met twee groepen kan worden gedekt door een test.^[54] Wanneer er slechts twee middelen zijn om te vergelijken, de test en de ANOVA F-testen zijn gelijkwaardig; de relatie tussen ANOVA en t is gegeven door F = t².
• Faculteit ANOVA wordt gebruikt wanneer er meer dan één factor is.
• Herhaalde maatregelen ANOVA wordt gebruikt wanneer dezelfde proefpersonen voor elke factor worden gebruikt (bijvoorbeeld in een Longitudinaal onderzoek).
• Multivariate variantieanalyse (Manova) wordt gebruikt wanneer er meer dan één is responsvariabele.

Waarschuwingen

Evenwichtige experimenten (die met een gelijke steekproefgrootte voor elke behandeling) zijn relatief eenvoudig te interpreteren; Onevenwichtige experimenten bieden meer complexiteit. Voor ANOVA met één factor (one-way) is de aanpassing voor onevenwichtige gegevens eenvoudig, maar de onevenwichtige analyse mist zowel robuustheid als kracht.^[55] Voor meer complexe ontwerpen leidt het gebrek aan evenwicht tot verdere complicaties. "De orthogonaliteitseigenschap van de belangrijkste effecten en interacties die aanwezig zijn in evenwichtige gegevens gaat niet over naar het onevenwichtige geval. Dit betekent dat de gebruikelijke analyse van variantie -technieken niet van toepassing is. Bijgevolg is de analyse van onevenwichtige faculaties veel moeilijker dan die voor uitgebalanceerd ontwerpen. "^[56] In het algemene geval kan "de variantieanalyse ook worden toegepast op onevenwichtige gegevens, maar dan de bedragen van vierkanten, gemiddelde vierkanten en F-Ratios zijn afhankelijk van de volgorde waarin de bronnen van variatie worden overwogen. "^[38]

ANOVA is (gedeeltelijk) een test van statistische significantie. De American Psychological Association (en vele andere organisaties) is van mening dat het simpelweg rapporteren van statistische significantie onvoldoende is en dat het melden van betrouwbaarheidsgrenzen de voorkeur heeft.^[50]

Generalisaties

ANOVA wordt beschouwd als een speciaal geval van lineaire regressie^[57][58] die op zijn beurt een speciaal geval is van de Algemeen lineair model.^[59] Iedereen beschouwen de waarnemingen als de som van een model (fit) en een resterende (fout) als geminimaliseerd.

De Kruskal - Wallis -test en de Friedman -test zijn niet parametrisch Tests, die niet afhankelijk zijn van een veronderstelling van normaliteit.^[60][61]

Verbinding met lineaire regressie

Hieronder maken we de verbinding tussen ANOVA over meerdere weg en lineaire regressie.

De gegevens lineair opnieuw bestellen zodat ${\ displaystyle k}$-th observatie wordt geassocieerd met een reactie ${\ displaystyle y_ {k}}$ en factoren ${\ DisplayStyle Z_ {K, B}}$ waar ${\ displaystyle b \ in \ {1,2, \ ldots, b \}}$ geeft de verschillende factoren aan en ${\ displaystyle b}$ is het totale aantal factoren. In eenrichtings-ANOVA ${\ DisplayStyle B = 1}$ en in tweeweg ANOVA ${\ DisplayStyle B = 2}$. Verder nemen we aan dat de ${\ displaystyle b}$-th Factor heeft ${\ DisplayStyle i_ {b}}$ niveaus, namelijk ${\ displaystyle \ {1,2, \ ldots, i_ {b} \}}$. Nu kunnen we een hot coder de factoren in de ${\ textstyle \ sum _ {b = 1}^{b} i_ {b}}$ dimensionale vector ${\ displaystyle v_ {k}}$.

De eenhotcoderende functie ${\ displaystyle g_ {b}: \ {1,2, \ ldots, i_ {b} \} \ mapsto \ {0,1 \}^{i_ {b}}}}$ is zodanig gedefinieerd dat de ${\ displaystyle i}$-TH -invoer van ${\ displaystyle g_ {b} (z_ {k, b})}$ is

De vector ${\ displaystyle v_ {k}}$ is de aaneenschakeling van alle bovenstaande vectoren voor iedereen ${\ displaystyle b}$. Dus, ${\ displaystyle v_ {k} = [g_ {1} (z_ {k, 1}), g_ {2} (z_ {k, 2}), \ ldots, g_ {b} (z_ {k, b})) ]}$. Om een ​​volledig algemene te verkrijgen ${\ displaystyle b}$-way interactie ANOVA We moeten ook elke extra interactieterm in de vector samenvoegen ${\ displaystyle v_ {k}}$ en voeg vervolgens een intercept -term toe. Laat die vector zijn ${\ DisplayStyle x_ {k}}$.

Met deze notatie op zijn plaats, hebben we nu de exacte verbinding met lineaire regressie. We regeren gewoon de reactie ${\ displaystyle y_ {k}}$ tegen de vector ${\ DisplayStyle x_ {k}}$. Er is echter een bezorgdheid over identificeerbaarheid. Om dergelijke problemen te overwinnen, gaan we ervan uit dat de som van de parameters binnen elke set interacties gelijk is aan nul. Vanaf hier kan men gebruiken F-Statistieken of andere methoden om de relevantie van de individuele factoren te bepalen.

Voorbeeld

We kunnen het 2-weg interactie-voorbeeld overwegen waarbij we aannemen dat de eerste factor 2 niveaus heeft en de tweede factor 3 niveaus heeft.

Definiëren ${\ displaystyle a_ {i} = 1}$ als ${\ DisplayStyle Z_ {k, 1} = i}$ en ${\ DisplayStyle B_ {i} = 1}$ als ${\ DisplayStyle Z_ {K, 2} = I}$, d.w.z. ${\ displaystyle a}$ is de one-hot codering van de eerste factor en ${\ displaystyle b}$ is de eenhotcodering van de tweede factor.

Met dat,

waar de laatste term een ​​intercept -term is. Stel dat voor een meer concreet voorbeeld dat Dan,

Zie ook

Voetnoten

Aantekeningen

Referenties

• Anscombe, F. J. (1948). "De geldigheid van vergelijkende experimenten". Journal of the Royal Statistical Society. Serie A (algemeen). 111 (3): 181–211. doen:10.2307/2984159. Jstor 2984159. DHR 0030181.
• Bailey, R. A. (2008). Ontwerp van vergelijkende experimenten. Cambridge University Press. ISBN 978-0-521-68357-9. Hoofdstukken vóór publicatie zijn online beschikbaar.
• Belle, Gerald Van (2008). Statistische vuistregels (2e ed.). Hoboken, N.J: Wiley. ISBN 978-0-470-14448-0.
• Cochran, William G.; Cox, Gertrude M. (1992). Experimentele ontwerpen (2e ed.). New York: Wiley. ISBN 978-0-471-54567-5.
• Cohen, Jacob (1988). Statistische krachtanalyse voor de gedragswetenschappen (2e ed.). Routledge ISBN978-0-8058-0283-2
• Cohen, Jacob (1992). "Statistieken een Power Primer". Psychologisch bulletin. 112 (1): 155–159. doen:10.1037/0033-2909.112.1.155. Pmid 19565683.
• Cox, David R. (1958). Planning van experimenten. Herdrukt als ISBN978-0-471-57429-3
• Cox, David R. (2006). Principes van statistische inferentie. Cambridge New York: Cambridge University Press. ISBN 978-0-521-68567-2.
• Freedman, David A.(2005). Statistische modellen: theorie en praktijk, Cambridge University Press. ISBN978-0-521-67105-7
• Gelman, Andrew (2005). "Variantieanalyse? Waarom het belangrijker is dan ooit". De annalen van de statistieken. 33: 1–53. arxiv:Math/0504499. doen:10.1214/009053604000001048. S2CID 13529149.
• Gelman, Andrew (2008). "Variantie, analyse van". Het nieuwe Palgrave Dictionary of Economics (2e ed.). Basingstoke, Hampshire New York: Palgrave Macmillan. ISBN 978-0-333-78676-5.
• Hinkelmann, Klaus & Kempthorne, Oscar (2008). Ontwerp en analyse van experimenten. Vol. I en II (tweede ed.). Wiley. ISBN 978-0-470-38551-7.
• Howell, David C. (2002). Statistische methoden voor psychologie (5e ed.). Pacific Grove, CA: Duxbury/Thomson Learning. ISBN 978-0-534-37770-0.
• Kempthorne, Oscar (1979). Het ontwerp en de analyse van experimenten (Gecorrigeerde herdruk van (1952) Wiley ed.). Robert E. Krieger. ISBN 978-0-88275-105-4.
• Lehmann, E.L. (1959) Statistische hypothesen testen. John Wiley & Sons.
• Montgomery, Douglas C. (2001). Ontwerp en analyse van experimenten (5e ed.). New York: Wiley. ISBN 978-0-471-31649-7.
• Moore, David S. & McCabe, George P. (2003). Inleiding tot de praktijk van statistieken (4E). W H Freeman & Co. ISBN0-7167-9657-0
• Rosenbaum, Paul R. (2002). Observatie studies (2e ed.). New York: Springer-Verlag. ISBN978-0-387-98967-9
• Scheffé, Henry (1959). De variantieanalyse. New York: Wiley.
• Stigler, Stephen M. (1986). De geschiedenis van de statistieken: de meting van onzekerheid vóór 1900. Cambridge, Mass: Belknap Press of Harvard University Press. ISBN 978-0-674-40340-6.
• Wilkinson, Leland (1999). "Statistische methoden in psychologische tijdschriften; richtlijnen en verklaringen". Amerikaanse psycholoog. 5 (8): 594–604. Citeseerx 10.1.1.120.4818. doen:10.1037/0003-066X.54.8.594.

Verder lezen

• Box, G. e. p. (1953). "Niet-normaliteit en tests op varianties". Biometrika. 40 (3/4): 318–335. doen:10.1093/Biomet/40.3-4.318. Jstor 2333350.
• Box, G. E. P. (1954). "Sommige stellingen over kwadratische vormen die worden toegepast in de studie van variantieproblemen, I. Effect van variantie-ongelijkheid in de eenrichtingsclassificatie". De annalen van wiskundige statistieken. 25 (2): 290. doen:10.1214/AOMS/1177728786.
• Box, G. E. P. (1954). "Sommige stellingen over kwadratische vormen toegepast in de studie van variantie-analyseproblemen, ii. Effecten van variantie-ongelijkheid en van correlatie tussen fouten in de tweerichtingsclassificatie". De annalen van wiskundige statistieken. 25 (3): 484. doen:10.1214/AOMS/1177728717.
• Caliński, Tadeusz; Kageyama, Sanpei (2000). Blokontwerpen: een randomisatiebenadering, volume I: Analyse. Lecture Notes in Statistics. Vol. 150. New York: Springer-Verlag. ISBN 978-0-387-98578-7.
• Christensen, Ronald (2002). Vliegtuig antwoorden op complexe vragen: de theorie van lineaire modellen (Derde ed.). New York: Springer. ISBN 978-0-387-95361-8.
• Cox, David R. & Reid, Nancy M. (2000). De theorie van het ontwerp van experimenten. (Chapman & Hall/CRC). ISBN978-1-58488-195-7
• Fisher, Ronald (1918). "Studies in gewasvariatie. I. Een onderzoek naar de opbrengst van geklede graan uit Broadbalk" (PDF). Journal of Agricultural Science. 11 (2): 107–135. doen:10.1017/S0021859600003750. HDL:2440/15170. S2CID 86029217. Gearchiveerd van het origineel (PDF) op 12 juni 2001.
• Freedman, David A.; Pisani, Robert; Purves, Roger (2007) Statistieken, 4e editie. W.W. Norton & Company ISBN978-0-393-92972-0
• Hettmanperger, T. P.; McKean, J. W. (1998). Edward Arnold (ed.). Robuuste niet -parametrische statistische methoden. Kendall's Library of Statistics. Vol. 5 (eerste ed.). New York: John Wiley & Sons, Inc. pp. XIV+467 pp. ISBN 978-0-340-54937-7. DHR 1604954.
• Lentner, Marvin; Thomas Bishop (1993). Experimenteel ontwerp en analyse (Tweede ed.). Blacksburg, VA: Valley Book Company. ISBN 978-0-9616255-2-8.
• Tabachnick, Barbara G. & Fidell, Linda S. (2007). Multivariate statistieken gebruiken (5e ed.). Boston: Pearson International Edition. ISBN978-0-205-45938-4
• Wichura, Michael J. (2006). De coördinaatvrije benadering van lineaire modellen. Cambridge -serie in statistische en probabilistische wiskunde. Cambridge: Cambridge University Press. pp. XIV+199. ISBN 978-0-521-86842-6. DHR 2283455.
• Phadke, Madhav S. (1989). Kwaliteitstechniek met behulp van robuust ontwerp. New Jersey: Prentice Hall Ptr. ISBN 978-0-13-745167-8.

Externe links

• SOCR: ANOVA -activiteit
• Voorbeelden van alle ANOVA- en ANCOVA -modellen met maximaal drie behandelingsfactoren, waaronder gerandomiseerd blok, gesplitste plot, herhaalde maatregelen en Latijnse vierkanten, en hun analyse in R (Universiteit van Southampton)
• Nist/sematech e-handbook van statistische methoden, Sectie 7.4.3: "Zijn de middelen gelijk?"
• Variantieanalyse: inleiding