Waarschijnlijkheidsratiotest

In statistieken, de waarschijnlijkheidsratiotest beoordeelt de goedheid van fit van twee concurreren Statistische modellen gebaseerd op de verhouding van hun waarschijnlijkheid, specifiek een gevonden door maximalisatie over de hele parameterruimte en een ander gevonden na het opleggen van een paar beperking. Als de beperking (d.w.z. de nulhypothese) wordt ondersteund door de waargenomen gegevens, de twee waarschijnlijkheid mogen niet meer dan meer dan bemonsteringsfout.^[1] De waarschijnlijkheidstest van de waarschijnlijkheid testen dus of deze verhouding is significant anders van één, of gelijkwaardig of het is natuurlijke logaritme verschilt aanzienlijk van nul.

De waarschijnlijkheidsratio-test, ook bekend als Wilks -test,^[2] is de oudste van de drie klassieke benaderingen van hypothesetesten, samen met de LaGrange Multiplier -test en de Wald Test.^[3] In feite kunnen de laatste twee worden geconceptualiseerd als benaderingen voor de waarschijnlijkheids-ratio-test en zijn asymptotisch equivalent.^[4]^[5]^[6] In het geval van het vergelijken van twee modellen die elk niet onbekend hebben parameters, het gebruik van de waarschijnlijkheidsratio-test kan worden gerechtvaardigd door de Neyman - Pearson Lemma. De lemma toont aan dat de test het hoogste heeft stroom onder alle concurrenten.^[7]

Definitie

Algemeen

Stel dat we een statistisch model met parameterruimte ${\ DisplayStyle \ theta}$ . EEN nulhypothese wordt vaak vermeld door te zeggen dat de parameter ${\ DisplayStyle \ theta}$ is in een gespecificeerde subset ${\ displaystyle \ theta _ {0}}$ van ${\ DisplayStyle \ theta}$ . De alternatieve hypothese is dat dus ${\ DisplayStyle \ theta}$ is in de aanvulling van ${\ displaystyle \ theta _ {0}}$ , d.w.z. in ${\ displaystyle \ theta ~ \ backslash ~ \ theta _ {0}}$ , die wordt aangegeven door ${\ displaystyle \ theta _ {0}^{\ text {c}}}$ . De waarschijnlijkheidsratio -teststatistiek voor de nulhypothese ${\ displaystyle H_ {0} \,: \, \ theta \ in \ theta _ {0}}$ is gegeven door:^[8]

{\ displayStyle \ lambda _ {\ text {lr}} =-2 \ ln \ links [{\ frac {~ \ sup _ {\ theta \ in \ theta _ {0}} {\ mathcal {l}} (\ \ \ \ \ \ {l}} (\ theta) ~} {~ \ sup _ {\ theta \ in \ theta} {\ mathcal {l}} (\ theta) ~}} \ rechts]}

waarbij de hoeveelheid binnen de beugels de waarschijnlijkheidsratio wordt genoemd. Hier de ${\ DisplayStyle \ sup}$ Notatie verwijst naar de supremum. Aangezien alle waarschijnlijkheid positief is, en omdat het beperkte maximum het niet -beperkte maximum niet kan overschrijden, is de waarschijnlijkheidsratio begrensd tussen nul en één.

Vaak wordt de waarschijnlijkheidsstatistiekstatistiek uitgedrukt als een verschil tussen de log-waarschijnlijkheid

{\ displayStyle \ lambda _ {\ text {lr}} =-2 \ links [~ \ ell (\ theta _ {0})-\ ell ({\ hat {\ theta}}}) ~ \ rechter]}

waar

{\ displayStyle \ ell ({\ hat {\ theta}}) \ equiv \ ln \ links [~ \ sup _ {\ theta \ in \ theta} {\ mathcal {l}} (\ theta) ~ \ rechter] ~ }

is de logaritme van de gemaximaliseerde waarschijnlijkheidsfunctie ${\ DisplayStyle {\ Mathcal {l}}}$ , en ${\ displayStyle \ ell (\ theta _ {0})}$ is de maximale waarde in het speciale geval dat de nulhypothese waar is (maar niet noodzakelijkerwijs een waarde die maximaliseert ${\ DisplayStyle {\ Mathcal {l}}}$ voor de bemonsterde gegevens) en

{\ displayStyle \ theta _ {0} \ in \ theta _ {0} \ qquad {\ text {en}} \ qquad {\ hat {\ theta}} \ in \ theta ~}

duiden de respectieve aan Argumenten van de maxima en de toegestane reeksen waarin ze zijn ingebed. Vermenigvuldiging met −2 zorgt dat wiskundig dat (door (door Wilks 'stelling) ${\ displaystyle \ lambda _ {\ text {lr}}}$ convergeert asymptotisch $χ$ ² verdeeld Als de nulhypothese waar is.^[9] De eindige monsterverdelingen Van waarschijnlijkheidsratiotests zijn over het algemeen onbekend.^[10]

De waarschijnlijkheidsratio-test vereist dat de modellen zijn genest - d.w.z. het meer complexe model kan worden omgezet in het eenvoudiger model door beperkingen op te leggen aan de parameters van de eerste. Veel veel voorkomende teststatistieken zijn tests voor geneste modellen en kunnen worden geformuleerd als log-waarschijnlijkheidsverhoudingen of benaderingen daarvan: b.v. de Z-testen, de F-testen, de G-testen, en Pearson's chi-kwadraat test; voor een illustratie met de met één monster t-testen, zie onder.

Als de modellen niet zijn genest, dan is er in plaats van de waarschijnlijkheidsratio-test een generalisatie van de test die meestal kan worden gebruikt: zie voor details, zie relatieve waarschijnlijkheid.

Geval van eenvoudige hypothesen

Een eenvoudige-vs-simple-hypothese-test heeft volledig gespecificeerde modellen onder zowel de nulhypothese als de alternatieve hypothese, die voor gemak worden geschreven in termen van vaste waarden van een notionele parameter ${\ DisplayStyle \ theta}$ :

{\ displayStyle {\ begin {uitgelijnd} H_ {0} &: & \ theta = \ theta _ {0}, \\ h_ {1} &: & \ theta = \ theta _ {1}. \ end {aligned} }}

In dit geval is onder beide hypothesen de verdeling van de gegevens volledig gespecificeerd: er zijn geen onbekende parameters te schatten. Voor dit geval is er een variant van de waarschijnlijkheidsratio-test beschikbaar:^[11]^[12]

{\ displaystyle \ lambda (x) = {\ frac {~ {\ mathcal {l}} (\ theta _ {0} \ mid x) ~} {~ {\ mathcal {l}} (\ theta _ _ {1} \ mid x) ~}}}

Sommige oudere referenties kunnen de wederzijdse van de bovenstaande functie gebruiken als de definitie.^[13] De waarschijnlijkheidsverhouding is dus klein als het alternatieve model beter is dan het nulmodel.

De waarschijnlijkheidsratio-test biedt de beslissingsregel als volgt:

Als

{\ displaystyle ~ \ lambda> c ~}

, weigeren niet

{\ DisplayStyle H_ {0}}

;

Als

{\ displaystyle ~ \ lambda <c ~}

, afwijzen

{\ DisplayStyle H_ {0}}

;

Als

{\ displaystyle ~ \ lambda = c ~}

, afwijzen

{\ DisplayStyle H_ {0}}

met waarschijnlijkheid

{\ displaystyle ~ q ~}

.

De waarden ${\ displaystyle c}$ en ${\ displaystyle q}$ worden meestal gekozen om een gespecificeerde te verkrijgen mate van belangrijkheid ${\ displaystyle \ alpha}$ , via de relatie

{\ displaystyle ~ q ~}

{\ DisplayStyle \ OperatorName {P} (\ Lambda = C \ Mid H_ {0}) ~+~ \ OperatorName {P} (\ Lambda <C \ Mid H_ {0}) ~ = ~ \ Alpha ~.}

De Neyman - Pearson Lemma stelt dat deze waarschijnlijkheidsratio-test de het meest krachtig van alle niveaus ${\ displaystyle \ alpha}$ Tests voor deze zaak.^[7]^[12]

Interpretatie

De waarschijnlijkheidsratio is een functie van de gegevens ${\ displaystyle x}$ ; Daarom is het een statistiek, hoewel ongebruikelijk omdat de waarde van de statistiek afhangt van een parameter, ${\ DisplayStyle \ theta}$ . De waarschijnlijkheidsratio-test verwerpt de nulhypothese als de waarde van deze statistiek te klein is. Hoe klein te klein is, hangt af van het significantieniveau van de test, d.w.z. van welke waarschijnlijkheid van Type I -fout wordt als aanvaardbaar beschouwd (type I -fouten bestaan uit de afwijzing van een nulhypothese die waar is).

De teller komt overeen met de waarschijnlijkheid van een waargenomen uitkomst onder de nulhypothese. De noemer komt overeen met de maximale waarschijnlijkheid van een waargenomen uitkomst, variërende parameters over de hele parameterruimte. De teller van deze verhouding is minder dan de noemer; De waarschijnlijkheidsverhouding ligt dus tussen 0 en 1. Lage waarden van de waarschijnlijkheidsverhouding betekent dat het waargenomen resultaat veel minder waarschijnlijk zou plaatsvinden onder de nulhypothese in vergelijking met het alternatief. Hoge waarden van het statistiekgemiddelde dat de waargenomen uitkomst bijna net zo waarschijnlijk zou plaatsvinden onder de nulhypothese als het alternatief, en dus kan de nulhypothese niet worden afgewezen.

Een voorbeeld

Het volgende voorbeeld is aangepast en verkort van Stuart, Ord & Arnold (1999, §22.2).

Stel dat we een willekeurig monster hebben, van grootte $n$ , van een populatie die normaal wordt verdeeld. Beide gemiddelde, $μ$ , en de standaardafwijking, $σ$ , van de bevolking zijn onbekend. We willen testen of het gemiddelde gelijk is aan een bepaalde waarde, $μ 0$ .

Aldus is onze nulhypothese $H 0 : μ = μ 0$ En onze alternatieve hypothese is $H 1 : μ \neq μ 0$ . De waarschijnlijkheidsfunctie is

{\ DisplayStyle {\ Mathcal {l}} (\ mu, \ sigma \ mid x) = \ links (2 \ pi \ sigma ^{2} \ rechts) ^{-n/2} \ exp \ left (-\ som _ {i = 1}^{n} {\ frac {(x_ {i}-\ mu)^{2}} {2 \ sigma^{2}}} \ rechts) \,.}

Met wat berekening (hier weggelaten) kan dat dan worden aangetoond

{\ displaystyle \ lambda = \ links (1+{\ frac {t^{2}} {n-1}} \ rechts)^{-n/2}}

waar $t$ is de $t$ -statistisch met $n - 1$ graden van vrijheid. Daarom kunnen we de bekende exacte verdeling van $t n -1$ om conclusies te trekken.

Asymptotische verdeling: Wilks 'stelling

Als de verdeling van de waarschijnlijkheidsverhouding die overeenkomt met een bepaalde nul en alternatieve hypothese expliciet kan worden bepaald, kan deze direct worden gebruikt om beslissingsgebieden te vormen (om de nulhypothese te onderhouden of te verwerpen). In de meeste gevallen is de exacte verdeling van de waarschijnlijkheidsverhouding die overeenkomt met specifieke hypothesen echter zeer moeilijk te bepalen.

Ervan uitgaande dat $H 0$ is waar, er is een fundamenteel resultaat door Samuel S. Wilks: Als de steekproefgrootte ${\ displaystyle n}$ benaderingen ${\ DisplayStyle \ Infty}$ , de teststatistiek ${\ displaystyle \ lambda _ {\ text {lr}}}$ hierboven gedefinieerd zal zijn asymptotisch Chi-kwadraat gedistribueerd ( ${\ displayStyle \ chi ^{2}}$ ) met graden van vrijheid gelijk aan het verschil in dimensionaliteit van ${\ DisplayStyle \ theta}$ en ${\ displaystyle \ theta _ {0}}$ .^[14] Dit houdt in dat we voor een grote verscheidenheid aan hypothesen de waarschijnlijkheidsratio kunnen berekenen ${\ DisplayStyle \ Lambda}$ voor de gegevens en vergelijk vervolgens de waargenomen ${\ displaystyle \ lambda _ {\ text {lr}}}$ naar de ${\ displayStyle \ chi ^{2}}$ waarde die overeenkomt met een gewenst statistische significantie als een benaderen Statistische test. Er bestaan andere uitbreidingen.^[welke?]

Zie ook

Referenties

^ King, Gary (1989). Verenigende politieke methodologie: de waarschijnlijkheidstheorie van statistische inferentie. New York: Cambridge University Press. p. 84. ISBN 0-521-36697-6.
^ Li, Bing; Babu, G. Jogesh (2019). Een afgestudeerde cursus over statistische inferentie. Springer. p. 331. ISBN 978-1-4939-9759-6.
^ Maddala, G. S.; Lahiri, Kajal (2010). Inleiding tot econometrie (Vierde ed.). New York: Wiley. p. 200.
^ Buse, A. (1982). "De waarschijnlijkheidsratio, Wald en Lagrange Multiplier Tests: een verklaring". De Amerikaanse statisticus. 36 (3a): 153–157. doen:10.1080/00031305.1982.10482817.
^ Pickles, Andrew (1985). Een inleiding tot waarschijnlijkheidsanalyse. Norwich: W. H. Hutchins & Sons. pp.24–27. ISBN 0-86094-190-6.
^ Severini, Thomas A. (2000). Waarschijnlijkheidsmethoden in statistieken. New York: Oxford University Press. pp. 120–121. ISBN 0-19-850650-3.
^ ^a ^b Neyman, J.; Pearson, E. S. (1933), "Over het probleem van de meest efficiënte tests van statistische hypothesen" (PDF), Filosofische transacties van de Royal Society of London a a, 231 (694–706): 289–337, Bibcode:1933rspta.231..289n, doen:10.1098/rsta.1933.00099, Jstor 91247
^ Koch, Karl-Rudolf (1988). Parameterschatting en hypothesetesten in lineaire modellen. New York: Springer. p.306. ISBN 0-387-18840-1.
^ Silvey, S.D. (1970). Statistische inferentie. Londen: Chapman & Hall. pp. 112–114. ISBN 0-412-13820-4.
^ Mittelhammer, Ron C.; Rechter, George G.; Miller, Douglas J. (2000). Econometrische grondslagen. New York: Cambridge University Press. p.66. ISBN 0-521-62394-4.
^ Stemming, A.M.; Graybill, F.A.; Boe, D.C. (1974). Inleiding tot de statistische theorie (3e ed.). McGraw-Hill. §9.2.
^ ^a ^b Stuart, A.; Ord, K.; Arnold, S. (1999), Kendall's geavanceerde statistiektheorie, Vol. 2a, Arnold, §§20.10–20.13
^ Cox, D. R.; Hinkley, D. V. (1974), Theoretische statistieken, Chapman & Hall, p. 92, ISBN 0-412-12420-3
^ Wilks, S.S. (1938). "De grote steekproefverdeling van de waarschijnlijkheidsverhouding voor het testen van samengestelde hypothesen". Annals of Mathematical Statistics. 9 (1): 60–62. doen:10.1214/AOMS/1177732360.

Verder lezen

Glover, Scott; Dixon, Peter (2004), "Loughood Ratio's: een eenvoudige en flexibele statistiek voor empirische psychologen", Psychonomisch Bulletin & Review, 11 (5): 791–806, doen:10.3758/BF03196706
Gehouden, Leonhard; Sabanés Bové, Daniel (2014), Toegepaste statistische gevolgtrekking - waarschijnlijkheid en Bayes, Springer
Kalbfleisch, J. G. (1985), Waarschijnlijkheid en statistische gevolgtrekking, Vol. 2, Springer-Verlag
Perlman, Michael D.; Wu, Lang (1999), "The Emperor's New Tests", Statistische wetenschap, 14 (4): 355–381, doen:10.1214/ss/1009212517
PERNEGER, Thomas V. (2001), "Het bewijsmateriaal in het bewijsmateriaal verschijnen: waarschijnlijkheidsverhoudingen zijn alternatieven voor P -waarden", De BMJ, 322 (7295): 1184–5, doen:10.1136/bmj.322.7295.1184, PMC 1120301, Pmid 11379590
Pinheiro, José C.; Bates, Douglas M. (2000), Modellen met gemengde effecten in S en S-plus, Springer-Verlag, pp. 82–93
Solomon, Daniel L. (1975), "Een opmerking over de niet-equivalentie van de Neyman-Pearson en gegeneraliseerde waarschijnlijkheidsratio-tests voor het testen van een eenvoudige nul versus een eenvoudige alternatieve hypothese" (PDF), De Amerikaanse statisticus, 29 (2): 101-102, doen:10.1080/00031305.1975.10477383, HDL:1813/32605

Externe links

[1] King, Gary (1989). Verenigende politieke methodologie: de waarschijnlijkheidstheorie van statistische inferentie. New York: Cambridge University Press. p. 84. ISBN 0-521-36697-6.

[2] Li, Bing; Babu, G. Jogesh (2019). Een afgestudeerde cursus over statistische inferentie. Springer. p. 331. ISBN 978-1-4939-9759-6.

[3] Maddala, G. S.; Lahiri, Kajal (2010). Inleiding tot econometrie (Vierde ed.). New York: Wiley. p. 200.

[4] Buse, A. (1982). "De waarschijnlijkheidsratio, Wald en Lagrange Multiplier Tests: een verklaring". De Amerikaanse statisticus. 36 (3a): 153–157. doen:10.1080/00031305.1982.10482817.

[5] Pickles, Andrew (1985). Een inleiding tot waarschijnlijkheidsanalyse. Norwich: W. H. Hutchins & Sons. pp.24–27. ISBN 0-86094-190-6.

[6] Severini, Thomas A. (2000). Waarschijnlijkheidsmethoden in statistieken. New York: Oxford University Press. pp. 120–121. ISBN 0-19-850650-3.

[NeymanPearson1933-7] Neyman, J.; Pearson, E. S. (1933), "Over het probleem van de meest efficiënte tests van statistische hypothesen" (PDF), Filosofische transacties van de Royal Society of London a a, 231 (694–706): 289–337, Bibcode:1933rspta.231..289n, doen:10.1098/rsta.1933.00099, Jstor 91247

[8] Koch, Karl-Rudolf (1988). Parameterschatting en hypothesetesten in lineaire modellen. New York: Springer. p.306. ISBN 0-387-18840-1.

[9] Silvey, S.D. (1970). Statistische inferentie. Londen: Chapman & Hall. pp. 112–114. ISBN 0-412-13820-4.

[10] Mittelhammer, Ron C.; Rechter, George G.; Miller, Douglas J. (2000). Econometrische grondslagen. New York: Cambridge University Press. p.66. ISBN 0-521-62394-4.

[11] Stemming, A.M.; Graybill, F.A.; Boe, D.C. (1974). Inleiding tot de statistische theorie (3e ed.). McGraw-Hill. §9.2.

[Stuart_et_al._20.10–20.13-12] Stuart, A.; Ord, K.; Arnold, S. (1999), Kendall's geavanceerde statistiektheorie, Vol. 2a, Arnold, §§20.10–20.13

[13] Cox, D. R.; Hinkley, D. V. (1974), Theoretische statistieken, Chapman & Hall, p. 92, ISBN 0-412-12420-3

[14] Wilks, S.S. (1938). "De grote steekproefverdeling van de waarschijnlijkheidsverhouding voor het testen van samengestelde hypothesen". Annals of Mathematical Statistics. 9 (1): 60–62. doen:10.1214/AOMS/1177732360.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]