Exponentiële familie

In waarschijnlijkheid en statistieken, een exponentiële familie is een parametrisch set van waarschijnlijkheidsverdelingen van een bepaalde vorm, hieronder gespecificeerd. Deze speciale vorm wordt gekozen voor wiskundig gemak, inclusief het mogelijk maken van de gebruiker om verwachtingen te berekenen, covarianties die differentiatie gebruiken op basis van enkele nuttige algebraïsche eigenschappen, evenals voor algemeenheid, omdat exponentiële families in zekere zin zeer natuurlijke sets van verdelingen zijn om te overwegen. De voorwaarde exponentiële klas wordt soms gebruikt in plaats van "exponentiële familie",^[1] of de oudere termijn Koopman - Darmois Family. De termen "distributie" en "familie" worden vaak losjes gebruikt: specifiek, een exponentiële familie is een set van verdelingen, waarbij de specifieke verdeling varieert met de parameter;^[a] Echter, een parametrisch familie van distributies wordt vaak aangeduid als "a Distributie "(zoals" de normale verdeling ", wat betekent" de familie van normale verdelingen "), en de set van alle exponentiële families wordt soms losjes aangeduid als" de "exponentiële familie. Ze zijn verschillend omdat ze een verscheidenheid aan gewenste eigenschappen bezitten , het belangrijkste is het bestaan ​​van een voldoende statistiek.

Het concept van exponentiële gezinnen wordt gecrediteerd^[2] E. J. G. Pitman,^[3] G. Darmois,^[4] en B. O. Koopman^[5] in 1935-1936. Exponentiële families van distributies bieden een algemeen kader voor het selecteren van een mogelijke alternatieve parameterisatie van een parametrische familie van distributies, in termen van Natuurlijke parameters, en voor het definiëren van nuttig steekproefstatistieken, genaamd de natuurlijk voldoende statistieken van de familie.

Definitie

De meeste veelgebruikte distributies vormen een exponentiële familie of subset van een exponentiële familie, vermeld in de onderstaande paragraaf. De subsecties die het volgen, zijn een volgorde van steeds meer algemene wiskundige definities van een exponentiële familie. Een informele lezer wil misschien de aandacht beperken tot de eerste en eenvoudigste definitie, die overeenkomt met een familie van één parameter van discreet of continu waarschijnlijkheidsverdelingen.

Voorbeelden van exponentiële gezinsdistributies

Exponentiële families omvatten veel van de meest voorkomende distributies. Onder vele anderen omvatten exponentiële families het volgende:^[6]

Een aantal gemeenschappelijke distributies zijn exponentiële families, maar alleen wanneer bepaalde parameters vast en bekend zijn. Bijvoorbeeld:

• binomiaal (met vast aantal proeven)
• multinomiaal (met vast aantal proeven)
• negatief binomiaal (met vast aantal storingen)

Merk op dat in elk geval de parameters die moeten worden vastgesteld, een limiet bepalen op de grootte van observatiewaarden.

Voorbeelden van veel voorkomende distributies die zijn niet Exponentiële gezinnen zijn Student t, meest mengselverdelingen, en zelfs de familie van uniforme verdelingen Wanneer de grenzen niet zijn vastgesteld. Zie het onderstaande gedeelte op voorbeelden Voor meer discussie.

Scalaire parameter

Een exponentiële familie met één parameter is een reeks waarschijnlijkheidsverdelingen waarvan waarschijnlijkheidsdichtheidsfunctie (of kansdichtheidsfunctie, voor het geval van een Discrete verdeling) kan in de vorm worden uitgedrukt

${\ displaystyle f_ {x} (x \ mid \ theta) = h (x) \, \ exp \! {\ bigl [} \, \ eta (\ theta) \ cdot t (x) -a (\ theta) \, {\ bigr]}}$

waar T(x), h(x), η(θ), en A(θ) zijn bekende functies. De functie h(x) moet natuurlijk niet-negatief zijn.

Een alternatief, equivalente vorm die vaak wordt gegeven, is

${\ displaystyle f_ {x} (x \ mid \ theta) = h (x) \, g (\ theta) \, \ exp \! {\ bigl [} \, \ eta (\ theta) \ cdot t (x ) \, {\ bigr]}}$

of gelijkwaardig

${\ displaystyle f_ {x} (x \ mid \ theta) = \ exp \! {\ bigl [} \, \ eta (\ theta) \ cdot t (x) -a (\ theta)+b (x) \ , {\ bigr]}}$

De waarde θ wordt de parameter van het gezin genoemd.

tevens de steun van ${\ displaystyle f_ {x} \! \ links (x \ mid \ theta \ rechts)}$ (d.w.z. de set van allemaal ${\ displaystyle x}$ waarvoor ${\ displaystyle f_ {x} \! \ links (x \ mid \ theta \ rechts)}$ is groter dan 0) hangt niet af van ${\ DisplayStyle \ theta}$.^[7] Dit kan worden gebruikt om een ​​parametrische familieverdeling uit te sluiten van een exponentiële familie. Bijvoorbeeld de Pareto -verdeling heeft een PDF die is gedefinieerd voor ${\ DisplayStyle x \ geq x_ {m}}$ (${\ DisplayStyle X_ {M}}$ zijnde de schaalparameter) en de ondersteuning ervan heeft daarom een ​​ondergrens van ${\ DisplayStyle X_ {M}}$. Sinds de steun van ${\ displaystyle f _ {\ alpha, x_ {m}} \! (x)}$ is afhankelijk van de waarde van de parameter, de familie van Pareto -distributies vormt geen exponentiële familie van distributies (althans wanneer ${\ DisplayStyle X_ {M}}$ is onbekend).

Vaak x is een vector van metingen, in welk geval T(x) kan een functie zijn vanuit de ruimte met mogelijke waarden van x naar de reële getallen. Algemener, η(θ) en T(x) kunnen elk zo vector worden gewaardeerd ${\ displayStyle \ eta '(\ theta) \ cdot t (x)}$ is echt gewaardeerd. Zie echter de onderstaande discussie op vectorparameters, betreffende de gebogen exponentiële familie.

Als η(θ) =θ, dan zou de exponentiële familie binnen zijn canonieke vorm. Door een getransformeerde parameter te definiëren η=η(θ), het is altijd mogelijk om een ​​exponentiële familie om te zetten in canonieke vorm. De canonieke vorm is niet uniek, sindsdien η(θ) kan worden vermenigvuldigd met elke niet -nul constante, op voorwaarde dat T(x) wordt vermenigvuldigd door de wederzijdse of een constante van die constante c kan worden toegevoegd aan η(θ) en h(x) vermenigvuldigd met ${\ displayStyle \ exp \! {\ bigl [} -c \ cdot t (x) \, {\ bigr]}}$ om het te compenseren. In het speciale geval dat η(θ) =θ en T(x) =x Dan wordt de familie een Natuurlijke exponentiële familie.

Zelfs wanneer x is een scalair, en er is slechts een enkele parameter, de functies η(θ) en T(x) kunnen nog steeds vectoren zijn, zoals hieronder beschreven.

De functie A(θ), of gelijkwaardig g(θ), wordt automatisch bepaald zodra de andere functies zijn gekozen, omdat deze een vorm moet aannemen die ervoor zorgt dat de verdeling is genormaliseerd (som of integreer met één over het hele domein). Bovendien kunnen beide functies altijd worden geschreven als functies van η, zelfs wanneer η(θ) is geen een op een functie, d.w.z. twee of meer verschillende waarden van θ kaart naar dezelfde waarde als η(θ), en daarom η(θ) kan niet worden omgekeerd. In een dergelijk geval alle waarden van θ Mapping naar hetzelfde η(θ) zal ook dezelfde waarde hebben voor A(θ) en g(θ).

Factorisatie van de betrokken variabelen

Wat belangrijk is om op te merken, en wat alle exponentiële familievarianten kenmerkt, is dat de parameter (s) en de observatievariabele (s) moeten factureren (kan worden gescheiden in producten die elk slechts één type variabele omvatten), direct of binnen een deel van het deel (de basis of exponent) van een exponentiatie operatie. Over het algemeen betekent dit dat alle factoren die de dichtheid of massafunctie vormen van een van de volgende vormen moeten zijn:

${\ displaystyle f (x), g (\ theta), c^{f (x)}, c^{g (\ theta)}, {[f (x)]}^{c}, {[g ( \ theta)]}^{c}, {[f (x)]}^{g (\ theta)}, {[g (\ theta)]}^{f (x)}, {[f (x) ]}^{h (x) g (\ theta)}, {\ text {of}} {[g (\ theta)]}^{h (x) j (\ theta)},}$

waar f en h zijn willekeurige functies van x; g en j zijn willekeurige functies van θ; en c is een willekeurige "constante" uitdrukking (d.w.z. een uitdrukking die niet betrokken is x of θ).

Er zijn verdere beperkingen op hoeveel van dergelijke factoren kunnen optreden. Bijvoorbeeld de twee uitdrukkingen:

${\ displaystyle {[f (x) g (\ theta)]}^{h (x) j (\ theta)}, \ qquad {[f (x)]}^{h (x) j (\ theta) } [g (\ theta)]^{h (x) j (\ theta)},}$

zijn hetzelfde, d.w.z. een product van twee "toegestane" factoren. Wanneer echter herschreven in de gefactoriseerde vorm,

${\ displaystyle {[f (x) g (\ theta)]}^{h (x) j (\ theta)} = {[f (x)]}^{h (x) j (\ theta)} [ g (\ theta)]^{h (x) j (\ theta)} = e^{[h (x) \ log f (x)] j (\ theta)+h (x) [j (\ theta) \ log g (\ theta)]},}$

Het is te zien dat het niet in de vereiste vorm kan worden uitgedrukt. (Dit soort vorm is echter lid van een gebogen exponentiële familie, waarmee meerdere gefactoriseerde termen in de exponent kunnen worden.)

Om te zien waarom een ​​uitdrukking van de vorm

${\ displayStyle {[f (x)]}^{g (\ theta)}}$

kwalificeert,

${\ displayStyle {[f (x)]}^{g (\ theta)} = e^{g (\ theta) \ log f (x)}}$

en dus factoriseert de binnenkant van de exponent. Evenzo,

${\ displayStyle {[f (x)]}^{h (x) g (\ theta)} = e^{h (x) g (\ theta) \ log f (x)} = e^{[h ( x) \ log f (x)] g (\ theta)}}$

en opnieuw factoren in de binnenkant van de exponent.

Een factor bestaande uit een som waarbij beide soorten variabelen betrokken zijn (bijvoorbeeld een factor van de vorm ${\ DisplayStyle 1+f (x) g (\ theta)}$) kan op deze manier niet worden gefactureerd (behalve in sommige gevallen waarin rechtstreeks in een exponent plaatsvindt); Dit is de reden waarom bijvoorbeeld de Cauchy -verdeling en Student t verdeling zijn geen exponentiële gezinnen.

Vectorparameter

De definitie in termen van één echt nummer parameter kan worden uitgebreid tot één real-vector parameter

${\ displayStyle {\ boldsymbol {\ theta}} \ equiv \ links [\, \ theta _ {1}, \, \ theta _ {2}, \, \ ldots, \, \, \, \ theta _} \, \, \, \, \, \ \, \, \ rechts]^{\ Mathsf {t}} ~.}$

Van een familie van verdelingen wordt gezegd dat het tot een exponentiële familie van vector behoort als de waarschijnlijkheidsdichtheidsfunctie (of waarschijnlijkheidsmassafunctie, voor discrete distributies) kan worden geschreven als

${\ displaystyle f_ {x} (x \ mid {\ boldsymbol {\ theta}}) = h (x) \, \ exp \ links (\ sum _ {i = 1}^{s} \ eta _ {i} ({\ boldsymbol {\ theta}}) t_ {i} (x) -a ({\ boldsymbol {\ theta}}) \ rechts) ~,}$

of in een meer compacte vorm,

${\ displaystyle f_ {x} (x \ mid {\ boldsymbol {\ theta}}) = h (x) \, \ exp {\ big (} {\ boldsymbol {\ eta}} ({\ boldsymbolbol {\ theta} }) \ cdot \ mathbf {t} (x) -a ({\ boldsymbol {\ theta}}) {\ big)}}$

Deze vorm schrijft de som als een punt product van vector-gewaardeerde functies ${\ displayStyle {\ boldsymbol {\ eta}} ({\ boldsymbol {\ theta}})}$ en ${\ DisplayStyle \ Mathbf {t} (x) \,}$.

Een alternatief, equivalente vorm die vaak wordt gezien, is

${\displaystyle f_{X}(x\mid {\boldsymbol {\theta }})=h(x)\,g({\boldsymbol {\theta }})\,\exp {\Big (}{\boldsymbol {\ eta}} ({\ boldsymbol {\ theta}}) \ cdot \ mathbf {t} (x) {\ big)}}$

Net als in de scalar gewaardeerde zaak, zou de exponentiële familie in zijn canonieke vorm als

${\ displaystyle \ quad \ eta _ {i} ({\ boldsymbol {\ theta}}) = \ theta _ {i} \ quad \ forall i \ ,.}$

Er wordt gezegd dat een exponentiële vector -exponentiële familie is gebogen Als de dimensie van

${\ displayStyle {\ boldsymbol {\ theta}} \ equiv \ links [\, \ theta _ {1}, \, \ theta _ {2}, \, \ ldots, \, \, \, \, \, \ \ \ \ {d} \, \, \, \, \, \, \ , \ rechts]^{\ Mathsf {t}}}$

is minder dan de dimensie van de vector

${\ displayStyle {\ boldsymbol {\ eta}} ({\ boldsymbol {\ theta}}) \ equiv \ links [\, \ eta _ {1} ({\ boldsymbol {\ theta}}}}), \, \, \ eta _, \, \ eta _, \, \ eta _, \ eta _, \ eta _, \ eta _, \ eta _, \ eta _, \ eta} {2} ({\ boldsymbol {\ theta}}), \, \ ldots, \, \ eta _ {s} ({\ boldsymbol {\ theta}}}) \, \ right]^{\ ​​mathsf}}}} ~.}$

Dat wil zeggen, als de dimensie, d, van de parametervector is minder dan de Aantal functies, s, van de parametervector in de bovenstaande weergave van de waarschijnlijkheidsdichtheidsfunctie. Meest voorkomende distributies in de exponentiële familie zijn niet Gebogen, en veel algoritmen die zijn ontworpen om met een exponentiële familie te werken impliciet of expliciet aannemen dat de verdeling niet is gebogen.

Zoals in het bovenstaande geval van een scalaire waarde parameter, de functie ${\ displaystyle a ({\ boldsymbol {\ theta}})}$ of gelijkwaardig ${\ displaystyle g ({\ boldsymbol {\ theta}})}$ wordt automatisch bepaald zodra de andere functies zijn gekozen, zodat de gehele verdeling wordt genormaliseerd. Bovendien kunnen beide functies zoals hierboven altijd worden geschreven als functies van ${\ DisplayStyle {\ boldsymbol {\ eta}}}$, ongeacht de vorm van de transformatie die genereert ${\ DisplayStyle {\ boldsymbol {\ eta}}}$ van ${\ DisplayStyle {\ boldsymbol {\ theta}} \,}$. Daarom ziet een exponentiële familie in zijn "natuurlijke vorm" (geparametriseerd door zijn natuurlijke parameter) eruit

${\ displaystyle f_ {x} (x \ mid {\ boldsymbol {\ eta}}) = h (x) \, \ exp {\ big (} {\ boldsymbol {\ eta}}} \ cdot \ mathbf {t} ( x) -a ({\ boldsymbol {\ eta}}) {\ big)}}$

of gelijkwaardig

${\displaystyle f_{X}(x\mid {\boldsymbol {\eta }})=h(x)\,g({\boldsymbol {\eta }})\,\exp {\Big (}{\boldsymbol {\ eta}} \ cdot \ mathbf {t} (x) {\ big)}}$

De bovenstaande vormen kunnen soms worden gezien ${\ displaystyle {\ boldsymbol {\ eta}}^{\ mathsf {t}} \ mathbf {t} (x)}$ in plaats van ${\ DisplayStyle {\ boldsymbol {\ eta}} \ cdot \ mathbf {t} (x) \,}$. Dit zijn exact equivalente formuleringen, alleen het gebruik van verschillende notatie voor de punt product.

Vectorparameter, vectorvariabele

De vector-parametervorm over een enkele scalaire gewaardeerde willekeurige variabele kan triviaal worden uitgebreid om een ​​gezamenlijke verdeling over een vector van willekeurige variabelen te dekken. De resulterende verdeling is eenvoudig hetzelfde als de bovenstaande verdeling voor een willekeurige variabele met scalaire waarde bij elk optreden van de scalair x vervangen door de vector

${\ displaystyle \ mathbf {x} = \ left (x_ {1}, x_ {2}, \ cdots, x_ {k} \ rechts)^{\ mathsf {t}} ~.}$

De dimensies k van de willekeurige variabele hoeft niet overeen te komen met de dimensie d van de parametervector, noch (in het geval van een gebogen exponentiële functie) de dimensie s van de natuurlijke parameter ${\ DisplayStyle {\ boldsymbol {\ eta}}}$ en voldoende statistiek T(x).

De verdeling is in dit geval geschreven als

${\displaystyle f_{X}\!\left(\mathbf {x} \mid {\boldsymbol {\theta }}\right)=h(\mathbf {x} )\,\exp \!\left(\, \ sum _ {i = 1}^{s} \ eta _ {i} ({\ boldsymbol {\ theta}}) t_ {i} (\ mathbf {x}) )\,\Rechtsaf)}$

Of compacter als

${\ displayStyle f_ {x} \! \ left (\, \ Mathbf {x} \ mid {\ boldsymbol {\ theta}} \, \ rechts) = h (\ mathbf {x}) \, \ exp \! \ Big (} \, {\ boldsymbol {\ eta}} ({\ boldsymbol {\ theta}}) \ cdot \ mathbf {t} (\ mathbf {x}) -a ({\ boldsymbol {\ theta}})) \,{\Groot )}}$

Of alternatief als

${\ DisplayStyle f_ {x} \! \ Left (\, \ Mathbf {x} \ Mid {\ boldsymbol {\ theta}} \, \ rechts) = g ({\ boldsymbol {\ theta}}}}}} \; h (H ( \ mathbf {x}) \, \ exp \! {\ big (} \, {\ boldsymbol {\ eta}} ({\ boldsymbol {\ theta}}) \ cdot \ mathbf {t} (\ mathbf {x} )\,{\Groot )}}$

Meet-theoretische formulering

We gebruiken Cumulatieve distributiefuncties (CDF) om zowel discrete als continue distributies te omvatten.

Veronderstellen H is een niet-afnemende functie van een echte variabele. Dan Lebesgue - Stieltjes Integrals rekeninghoudend met ${\ displayStyle {\ rm {d \,}} h (\ mathbf {x})}$ zijn integralen met betrekking tot de referentiemaatregel van de exponentiële familie gegenereerd door H.

Elk lid van die exponentiële familie heeft de cumulatieve distributiefunctie

${\ displayStyle {\ rm {d \,}} f \ links (\, \ mathbf {x} \ mid {\ boldsymbol {\ theta}} \, \ right) = \ exp {\ bigl (} \, \, \, \, \ \ \ \ \ \ \ \ \, \, \, \ \ \ \ \ \ \ \ \ \, \ \ \ \ \ \ \ \ \ \ \, \, \, \ \ \ \ \ \, \ \ \ \ \ \, \ \ \ \ \ \ \ \ \ \ \, \ \ \ \ \ \ \ \ \ \ \ \ \ \, \ boldsymbol {\eta }}(\theta )\cdot \mathbf {T} (\mathbf {x} )\,-\,A({\boldsymbol {\theta }})\,{\bigr )}~{\ rm {d \,}} h (\ mathbf {x}) ~.}$

H(x) is een Lebesgue - Stieltjes Integrator voor de referentiemaatregel. Wanneer de referentiemaat eindig is, kan deze worden genormaliseerd en H is eigenlijk de cumulatieve distributiefunctie van een waarschijnlijkheidsverdeling. Als F is absoluut continu met een dichtheid ${\ displaystyle f (x)}$ Met betrekking tot een referentiemaatregel ${\ displaystyle \, {\ rm {d \,}} x \,}$ (typisch Lebesgue -maatregel), men kan schrijven ${\ displaystyle \, {\ rm {d \,}} f (x) = f (x) ~ {\ rm {d \,}} x \,}$. In dit geval, H is ook absoluut continu en kan worden geschreven ${\ displaystyle \, {\ rm {d \,}} h (x) = h (x) \, {\ rm {d \,}} x \,}$ Dus de formules verminderen tot die van de vorige paragrafen. Als F is dan discreet H is een stapfunctie (met stappen op de steun van F).

Als alternatief kunnen we de waarschijnlijkheidsmaat direct schrijven als

${\ displayStyle p \ left (\, {\ rm {d \,}} \ mathbf {x} \ mid {\ boldsymbol {\ theta}} \, \ right) = \ exp {\ bigl (} \, \, \, \, \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \, \, \, \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \, \, \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \, \ \ \ \ \ \ \, \ boldsymbol {\ eta}} (\ theta) \ cdot \ mathbf {t} (\ mathbf {x}) -a ({\ boldsymbol {\ theta}}) \, {\ bigr)} ~} ~ \ mu ({\ r \ rm ({\ rm) {d \,}} \ Mathbf {x}) ~.}$

Voor een referentiemaatregel ${\ displaystyle \ mu \,}$.

Interpretatie

In de bovenstaande definities zijn de functies T(x), η(θ), en A(η) waren blijkbaar willekeurig gedefinieerd. Deze functies spelen echter een belangrijke rol in de resulterende waarschijnlijkheidsverdeling.

• T(x) is een voldoende statistiek van de verdeling. Voor exponentiële families is de voldoende statistiek een functie van de gegevens die alle informatie de gegevens bevatten x biedt met betrekking tot de onbekende parameterwaarden. Dit betekent dat voor alle gegevenssets ${\ displaystyle x}$ en ${\ displaystyle y}$, de waarschijnlijkheidsratio is hetzelfde, dat wil zeggen ${\ displayStyle {\ frac {f (x; \ theta _ {1})} {f (x; \ theta _ {2})}} = {\ frac {f (y; \ theta _ _ {1})}} {f (y; \ theta _ {2})}}}$ als  T(x) = T(y)). Dit is waar zelfs als x en y zijn heel verschillend - dat wil zeggen, zelfs als ${\ displaystyle d (x, y)> 0 \,}$. De dimensie van T(x) is gelijk aan het aantal parameters van θ en omvat alle informatie over de gegevens met betrekking tot de parameter θ. De voldoende statistiek van een set van onafhankelijk identiek verdeeld Gegevensobservaties zijn eenvoudigweg de som van individuele voldoende statistieken en bevat alle informatie die nodig is om de achterste verdeling van de parameters, gegeven de gegevens (en dus om een ​​gewenste schatting van de parameters af te leiden). (Deze belangrijke eigenschap wordt verder besproken onderstaand.)
• η wordt de natuurlijke parameter. De set waarden van η waarvoor de functie ${\ displaystyle f_ {x} (x; \ eta)}$ is integreerbaar wordt de Natuurlijke parameterruimte. Er kan worden aangetoond dat de natuurlijke parameterruimte altijd is convex.
• A(η) wordt de log-partitiefunctie^[b] Omdat het de logaritme van een normalisatiefactor, zonder welke ${\ displaystyle f_ {x} (x; \ theta)}$ zou geen waarschijnlijkheidsverdeling zijn:

${\ displayStyle a (\ eta) = \ log \ links (\ int _ {x} h (x) \, \ exp (\ eta (\ theta) \ cdot t (x)) \, \ mathrm {d} x \Rechtsaf)}$

De functie A is op zichzelf gemeen, variantie en andere momenten van de voldoende statistiek T(x) kan eenvoudig worden afgeleid door te differentiëren A(η). Bijvoorbeeld, omdat log (x) is een van de componenten van de voldoende statistiek van de gamma -verdeling, ${\ DisplayStyle \ OperatorName {\ Mathcal {e}} [\ log x]}$ kan gemakkelijk worden bepaald voor deze verdeling met behulp van A(η). Technisch gezien is dit waar omdat

${\ displaystyle k \ links (u \ mid \ eta \ rechts) = a (\ eta +u) -a (\ eta) \ ,,}$

is de Cumulant genererende functie van de voldoende statistiek.

Eigendommen

Exponentiële families hebben een groot aantal eigenschappen die ze uiterst nuttig maken voor statistische analyse. In veel gevallen kan dat worden aangetoond enkel en alleen Exponentiële families hebben deze eigenschappen. Voorbeelden:

• Exponentiële gezinnen zijn de enige families met voldoende statistieken die willekeurige hoeveelheden van onafhankelijk identiek verdeeld Gegevens met behulp van een vast aantal waarden. ((Pitman–Koopman–Darmois stelling)
• Exponentiële gezinnen hebben geconjugeerde priors, een belangrijk eigendom in Bayesiaanse statistieken.
• De Achterste voorspellende verdeling van een exponentiële willekeurige willekeurige variabele met een geconjugeerde prior kan altijd in gesloten vorm worden geschreven (op voorwaarde dat de Normalisering van de factor van de exponentiële familieverdeling kan zelf in gesloten vorm worden geschreven).^[c]
• In de gemiddelde veldbenadering in variabele Bayes (gebruikt voor het benaderen van de achterste verdeling in het groot Bayesiaanse netwerken), de beste posterieure verdeling van een exponentieel-familie knooppunt (een knooppunt is een willekeurige variabele in de context van Bayesiaanse netwerken) met een geconjugeerde prior is in dezelfde familie als het knooppunt.^[8]

Gegeven een exponentiële familie gedefinieerd door ${\ displaystyle f_ {x} (x \ mid \ theta) = h (x) \, \ exp \! {\ bigl [} \, \ theta \ cdot t (x) -a (\ theta) \, {\ bigr]}}$, waar ${\ DisplayStyle \ theta}$ is de parameterruimte, zodat dat ${\ displaystyle \ theta \ in \ theta \ subset \ mathbb {r} ^{k}}$. Dan

• Als ${\ DisplayStyle \ theta}$ heeft niet -lege interieur in ${\ DisplayStyle \ Mathbb {r} ^{k}}$, dan een IID -monsters ${\ displaystyle x_ {1}, ..., x_ {n} \ sim f_ {x}}$, de statistiek ${\ displaystyle t (x_ {1}, ..., x_ {n}): = \ sum _ {i = 1}^{n} t (x_ {i})}$ is een complete statistiek voor ${\ DisplayStyle \ theta}$.^[9][10]
• ${\ displaystyle t}$ is een minimale statistiek voor ${\ DisplayStyle \ theta}$ iff voor iedereen ${\ displaystyle \ theta _ {1}, \ theta _ {2} \ in \ theta}$, en ${\ displaystyle x_ {1}, x_ {2}}$ bij de steun van ${\ displaystyle x}$, als ${\ displaystyle (\ theta _ {1}-\ theta _ {2}) \ cdot (t (x_ {1})-t (x_ {2})) = 0}$, dan ${\ displaystyle \ theta _ {1} = \ theta _ {2}}$ of ${\ displaystyle x_ {1} = x_ {2}}$.^[11]

Voorbeelden

Het is van cruciaal belang, bij het overwegen van de voorbeelden in deze sectie, om de discussie hierboven te onthouden over wat het betekent om te zeggen dat een "distributie" een exponentiële familie is, en met name om te onthouden dat de set parameters die mogen variëren is van cruciaal belang om te bepalen of een "distributie" al dan niet een exponentieel gezin is.

De normaal, exponentieel, log-normaal, gamma, chi-kwadraat, bèta, Dirichlet, Bernoulli, categorisch, vergif, geometrisch, Inverse Gaussiaans, Von Mises en Von Mises-Fisher Distributies zijn allemaal exponentiële families.

Sommige distributies zijn alleen exponentiële families als sommige van hun parameters worden vastgehouden. De familie van Pareto -distributies met een vast minimumgebonden x_m vormen een exponentiële familie. De families van binomiaal en multinomiaal uitkeringen met een vast aantal proeven n Maar onbekende waarschijnlijkheidsparameter (s) zijn exponentiële families. De familie van Negatieve binomiale verdelingen met vast aantal storingen (ook bekend als stoptijdparameter) r is een exponentiële familie. Wanneer een van de bovengenoemde vaste vaste parameters echter mag variëren, is de resulterende familie geen exponentiële familie.

Zoals hierboven vermeld, als algemene regel, de steun van een exponentiële familie moet hetzelfde blijven in alle parameterinstellingen in de familie. Dit is de reden waarom de bovenstaande gevallen (bijv. Binomiaal met een variërend aantal proeven, Pareto met variërende minimumgebonden) geen exponentiële families zijn - in alle gevallen beïnvloedt de parameter in kwestie de ondersteuning (met name het wijzigen van het minimum of maximale mogelijke waarde) . Om soortgelijke redenen, noch de Discrete uniforme verdeling noch Continue uniforme verdeling zijn exponentiële families als een of beide grenzen variëren.

De Weibull -verdeling met een vaste vormparameter k is een exponentiële familie. In tegenstelling tot in de vorige voorbeelden heeft de vormparameter geen invloed op de ondersteuning; Het feit dat het toestaan ​​dat het kan variëren, maakt dat het niet-exponentiële Weibull eerder te wijten is aan de specifieke vorm van de Weibull's waarschijnlijkheidsdichtheidsfunctie (k verschijnt in de exponent van een exponent).

In het algemeen, verdelingen die voortvloeien uit een eindige of oneindige mengsel van andere distributies, b.v. mengselmodel dichtheden en samengestelde waarschijnlijkheidsverdelingen, zijn niet exponentiële gezinnen. Voorbeelden zijn typisch Gaussiaans mengselmodellen net als veel zware distributies dat het gevolg is van het samenstellen (d.w.z. oneindig mengen) Een verdeling met een eerdere verdeling Over een van de parameters, b.v. de Student t-verdeling (Vergelijking a normale verdeling over een gamma-verdeeld precisie prior), en de bèta-binomiaal en Dirichlet-Multinomial distributies. Andere voorbeelden van distributies die geen exponentiële families zijn, zijn de F-verdeling, Cauchy -verdeling, hypergeometrische verdeling en logistieke verdeling.

Hierna volgen enkele gedetailleerde voorbeelden van de weergave van een bruikbare verdeling als exponentiële families.

Normale verdeling: onbekend gemiddelde, bekende variantie

Als een eerste voorbeeld, overweeg een willekeurige variabele die normaal wordt verdeeld met onbekend gemiddelde μ en bekend variantie σ². De waarschijnlijkheidsdichtheidsfunctie is dan

${\ displaystyle f _ {\ sigma} (x; \ mu) = {\ frac {1} {\ sqrt {2 \ pi \ sigma^{2}}}} e^{-(x- \ mu)^{2 }/(2 \ sigma ^{2})}.}$

Dit is een exponentiële familie met één parameter, zoals te zien is door in te stellen

${\ displayStyle {\ begin {uitgelijnd} h _ {\ sigma} (x) & = {\ frac {1} {\ sqrt {2 \ pi \ sigma^{2}}}} e^{-x^{2 {{2 {{2 {{2 {{2 {{2 {{2 {{2 {{2 {{2 {{2 {{2 {{2 {{2 {{2 {{2} /) ) & = {\ frac {\ mu ^{2}} {2 \ sigma ^{2}}} \\ [4pt] \ eta _ {\ sigma} (\ mu) & = {\ frac {\ mu} { \ sigma}}. \ end {uitgelijnd}}}$

Als σ = 1 Dit is in canonieke vorm, zoals danη(μ) =μ.

Normale verdeling: onbekende gemiddelde en onbekende variantie

Overweeg vervolgens het geval van een normale verdeling met onbekende gemiddelde en onbekende variantie. De waarschijnlijkheidsdichtheidsfunctie is dan

${\ displaystyle f (y; \ mu, \ sigma) = {\ frac {1} {\ sqrt {2 \ pi \ sigma^{2}}}} e^{-(y- \ mu)^{2} /2 \ sigma ^{2}}.}$

Dit is een exponentiële familie die in canonieke vorm kan worden geschreven door te definiëren

${\displaystyle {\begin{aligned}{\boldsymbol {\eta }}&=\left[\,{\frac {\mu }{\sigma ^{2}}},~-{\frac {1}{ 2 \ sigma ^{2}}}} \, \ rechts] \\ h (y) & = {\ frac {1} {\ sqrt {2 \ pi}}}} \\ t (y) & = \ links (y (y (y , y ^{2} \ rechts) ^{\ rm {t}} \\ a ({\ boldsymbol {\ eta}}) & = {\ frac {\ mu ^{2}} {2 \ sigma ^{2 }}}+\ log | \ sigma | =-{\ frac {\ eta _ {1}^{2}} {4 \ eta _ {2}}}+{\ frac {1} {2}} \ log \ links | {\ frac {1} {2 \ eta _ {2}}}} \ rechts | \ end {uitgelijnd}}}$

Binomiale verdeling

Overweeg als een voorbeeld van een discrete exponentiële familie binomiale verdeling met bekend Aantal proeven n. De kansdichtheidsfunctie want deze verdeling is

${\ displaystyle f (x) = {n \ kies x} p^{x} (1-p)^{n-x}, \ quad x \ in \ {0,1,2, \ ldots, n \}.}$

Dit kan gelijkwaardig worden geschreven als

${\ displayStyle f (x) = {n \ kies x} \ exp \ left (x \ log \ left ({\ frac {p} {1-p}} \ rechts)+n \ log (1-p) \ Rechtsaf),}$

waaruit laat zien dat de binomiale verdeling een exponentiële familie is, waarvan de natuurlijke parameter is

${\ displayStyle \ eta = \ log {\ frac {p} {1-p}}.}$

Deze functie van p staat bekend als logit.

Tabel met verdelingen

De volgende tabel laat zien hoe u een aantal gemeenschappelijke distributies kunt herschrijven als exponentiële familie-distributies met natuurlijke parameters. Raadpleeg de flashcards^[12] voor belangrijkste exponentiële families.

Voor een scalaire variabele en scalaire parameter is de vorm als volgt:

${\ displaystyle f_ {x} (x \ mid \ theta) = h (x) \ exp {\ big (} \ eta ({\ theta}) t (x) -a ({\ eta}) {\ big) {\ big) {\ big) {\ big) }}$

Voor een scalaire variabele en vectorparameter:

${\ displaystyle f_ {x} (x \ mid {\ boldsymbol {\ theta}}) = h (x) \ exp {\ big (} {\ boldsymbol {\ eta}} ({\ boldsymbol {\ theta}})) \ cdot \ mathbf {t} (x) -a ({\ boldsymbol {\ eta}}) {\ big)}}$

${\ displaystyle f_ {x} (x \ mid {\ boldsymbol {\ theta}}) = h (x) g ({\ boldsymbol {\ theta}}) \ exp {\ big (} {\ boldsymbolbol } ({\ boldsymbol {\ theta}}) \ cdot \ mathbf {t} (x) {\ big)}}$

Voor een vectorvariabele en vectorparameter:

${\ displaystyle f_ {x} (\ mathbf {x} \ mid {\ boldsymbol {\ theta}}) = h (\ mathbf {x}) \ exp {\ big (} {\ boldsymbol {\ eta}} ({{{{{{{{{{{{{{{{{{{{{\ eta \ boldsymbol {\ theta}}) \ cdot \ mathbf {t} (\ mathbf {x}) -a ({\ boldsymbol {\ eta}}) {\ big)}}$

De bovenstaande formules kiezen de functionele vorm van de exponentiële familie met een log-partitiefunctie ${\ displaystyle a ({\ boldsymbol {\ eta}})}$. De reden hiervoor is zodat de Momenten van de voldoende statistieken kan eenvoudig worden berekend, eenvoudig door deze functie te differentiëren. Alternatieve formulieren omvatten ofwel deze functie parametreren in termen van de normale parameter ${\ DisplayStyle {\ boldsymbol {\ theta}}}$ in plaats van de natuurlijke parameter, en/of een factor gebruiken ${\ displaystyle g ({\ boldsymbol {\ eta}})}$ buiten de exponentiële. De relatie tussen de laatste en de eerste is:

${\ displaystyle a ({\ boldsymbol {\ eta}}) =-\ log g ({\ boldsymbol {\ eta}})}}$

${\ displaystyle g ({\ boldsymbol {\ eta}}) = e^{-a ({\ boldsymbol {\ eta}})}}}}}$

Gebruik de onderstaande formules voor het schrijven van het ene type parameter in termen van het andere om converteren tussen de representaties met de twee soorten parameter.

Verdeling	Parameter (s) ${\ DisplayStyle {\ boldsymbol {\ theta}}}$	Natuurlijke parameter (s) ${\ DisplayStyle {\ boldsymbol {\ eta}}}$	Inverse parametermapping	Basismaatregel ${\ DisplayStyle H (x)}$	Voldoende statistiek ${\ displaystyle t (x)}$	Log-partitie ${\ displaystyle a ({\ boldsymbol {\ eta}})}$	Log-partitie ${\ displaystyle a ({\ boldsymbol {\ theta}})}$
Bernoulli -verdeling	${\ displaystyle p}$	${\ DisplayStyle \ log {\ frac {p} {1-p}}}$ Dit is de logit -functie.	${\ displayStyle {\ frac {1} {1+e^{-\ eta}}} = {\ frac {e^{\ eta}} {1+e^{\ eta}}}}$ Dit is de logistieke functie.	${\ DisplayStyle 1}$	${\ displaystyle x}$	${\ displayStyle \ log (1+e^{\ eta})}$	${\ DisplayStyle -\ Log (1 -P)}$
binomiale verdeling met een bekend aantal proeven ${\ displaystyle n}$	${\ displaystyle p}$	${\ DisplayStyle \ log {\ frac {p} {1-p}}}$	${\ displayStyle {\ frac {1} {1+e^{-\ eta}}} = {\ frac {e^{\ eta}} {1+e^{\ eta}}}}$	${\ DisplayStyle {n \ Kies x}}$	${\ displaystyle x}$	${\ displaystyle n \ log (1+e^{\ eta})}$	${\ displaystyle -n \ log (1 -p)}$
Poisson -verdeling	${\ DisplayStyle \ Lambda}$	${\ DisplayStyle \ Log \ Lambda}$	${\ displaystyle e^{\ eta}}$	${\ DisplayStyle {\ frac {1} {x!}}}$	${\ displaystyle x}$	${\ displaystyle e^{\ eta}}$	${\ DisplayStyle \ Lambda}$
Negatieve binomiale verdeling met een bekend aantal mislukkingen ${\ displaystyle r}$	${\ displaystyle p}$	${\ DisplayStyle \ log p}$	${\ displaystyle e^{\ eta}}$	${\ DisplayStyle {X+R-1 \ Kies x}}$	${\ displaystyle x}$	${\ displaystyle -r \ log (1 -e^{\ eta})}$	${\ displaystyle -r \ log (1 -p)}$
exponentiële verdeling	${\ DisplayStyle \ Lambda}$	${\ DisplayStyle -\ Lambda}$	${\ DisplayStyle -\ eta}$	${\ DisplayStyle 1}$	${\ displaystyle x}$	${\ displayStyle -\ log ( -\ eta)}$	${\ DisplayStyle -\ Log \ Lambda}$
Pareto -verdeling met een bekende minimumwaarde ${\ DisplayStyle X_ {M}}$	${\ displaystyle \ alpha}$	${\ DisplayStyle -\ alpha -1}$	${\ displaystyle -1- \ eta}$	${\ DisplayStyle 1}$	${\ DisplayStyle \ log x}$	${\ displayStyle-\ log (-1- \ eta)+(1+ \ eta) \ log x _ {\ mathrm {m}}}$	${\ displaystyle -\ log \ alpha -\ alpha \ log x _ {\ mathrm {m}}}$
Weibull -verdeling met bekende vorm k	${\ DisplayStyle \ Lambda}$	${\ displaystyle -{\ frac {1} {\ lambda ^{k}}}}$	${\ displaystyle (-\ eta)^{-{\ frac {1} {k}}}}$	${\ displaystyle x^{k-1}}$	${\ displaystyle x^{k}}$	${\ displaystyle-\ log (-\ eta)-\ log k}$	${\ displaystyle k \ log \ lambda -\ log k}$
Laplace -verdeling met bekende gemiddelde ${\ DisplayStyle \ mu}$	${\ displaystyle b}$	${\ displayStyle -{\ frac {1} {b}}}$	${\ displayStyle -{\ frac {1} {\ eta}}}$	${\ DisplayStyle 1}$	${\ displaystyle | x- \ mu |}$	${\ displaystyle \ log \ left (-{\ frac {2} {\ eta}} \ rechts)}$	${\ DisplayStyle \ Log 2b}$
Chi-kwadraatverdeling	${\ DisplayStyle \ nu}$	${\ DisplayStyle {\ frac {\ nu} {2}}-1}$	${\ DisplayStyle 2 (\ eta +1)}$	${\ displaystyle e^{-{\ frac {x} {2}}}}$	${\ DisplayStyle \ log x}$	${\ displaystyle \ log \ gamma (\ eta +1) +(\ eta +1) \ log 2}$	${\ displaystyle \ log \ gamma \ left ({\ frac {\ nu} {2}} \ rechts)+{\ frac {\ nu} {2}} \ log 2}$
normale verdeling Bekende variantie	${\ DisplayStyle \ mu}$	${\ displaystyle {\ frac {\ mu} {\ sigma}}}$	${\ DisplayStyle \ Sigma \ eta}$	${\ displayStyle {\ frac {e^{-{\ frac {x^{2}} {2 \ sigma^{2}}}}}}} {{\ sqrt {2 \ pi}}} \ sigma}}}}$	${\ displaystyle {\ frac {x} {\ sigma}}}$	${\ DisplayStyle {\ frac {\ eta ^{2}} {2}}}$	${\ displaystyle {\ frac {\ mu ^{2}} {2 \ sigma ^{2}}}}$
Continue Bernoulli -verdeling	${\ DisplayStyle \ Lambda}$	${\ displaystyle \ log {\ frac {\ lambda} {1- \ lambda}}}$	${\ displayStyle {\ frac {e^{\ eta}} {1+e^{\ eta}}}}$	${\ DisplayStyle 1}$	${\ displaystyle x}$	${\ displaystyle \ log {\ frac {e^{\ eta} -1} {\ eta}}}$	${\displaystyle \log \left({\frac {1-2\lambda }{(1-\lambda )\log \left({\frac {1-\lambda }{\lambda }}\right)}}\ Rechtsaf)}$
normale verdeling	${\ displaystyle \ mu, \ \ sigma ^{2}}$	${\ displayStyle {\ begin {bMatrix} {\ dfrac {\ mu} {\ sigma ^{2}}} \\ [10pt]-{\ dfrac {1} {2 \ sigma ^{2}} \ eind bMatrix}}}$	${\ displayStyle {\ begin {bMatrix}-{\ dfrac {\ eta _ {1}} {2 \ eta _ {2}}}} \\ [15pt]-{\ dfrac {1} {2 \ eta _ _ _ _ {2 }}} \ end {bMatrix}}}$	${\ displayStyle {\ frac {1} {\ sqrt {2 \ pi}}}}$	${\ displayStyle {\ begin {bMatrix} x \\ x^{2} \ end {bMatrix}}}$	${\ displayStyle-{\ frac {\ eta _ {1}^{2}} {4 \ eta _ {2}}}-{\ frac {1} {2}} \ log (-2 \ eta _ _ {2 })}$	${\ displayStyle {\ frac {\ mu ^{2}} {2 \ sigma ^{2}}}+\ log \ sigma}$
log-normale verdeling	${\ displaystyle \ mu, \ \ sigma ^{2}}$	${\ displayStyle {\ begin {bMatrix} {\ dfrac {\ mu} {\ sigma ^{2}}} \\ [10pt]-{\ dfrac {1} {2 \ sigma ^{2}} \ eind bMatrix}}}$	${\ displayStyle {\ begin {bMatrix}-{\ dfrac {\ eta _ {1}} {2 \ eta _ {2}}}} \\ [15pt]-{\ dfrac {1} {2 \ eta _ _ _ _ {2 }}} \ end {bMatrix}}}$	${\ displayStyle {\ frac {1} {{\ sqrt {2 \ pi}} x}}}$	${\ displayStyle {\ begin {bMatrix} \ log x \\ (\ log x)^{2} \ end {bMatrix}}}$	${\ displayStyle-{\ frac {\ eta _ {1}^{2}} {4 \ eta _ {2}}}-{\ frac {1} {2}} \ log (-2 \ eta _ _ {2 })}$	${\ displayStyle {\ frac {\ mu ^{2}} {2 \ sigma ^{2}}}+\ log \ sigma}$
Inverse Gaussiaanse verdeling	${\ displaystyle \ mu, \ \ lambda}$	${\ displaystyle {\ begin {bMatrix}-{\ dfrac {\ lambda} {2 \ mu ^{2}}}} \\ [15pt]-{\ dfrac {\ lambda} {2}} \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ {bMatrix}}} }$	${\ DisplayStyle {\ begin {BMatrix} {\ Sqrt {\ dfrac {\ eta _ {2}} {\ eta _ {1}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} \\ [15pt] -2 \ Eta \ _ {2} \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ eind }}}$	${\ displayStyle {\ frac {1} {{\ sqrt {2 \ pi}} x^{\ frac {3} {2}}}}}$	${\ displayStyle {\ begin {bMatrix} x \\ [5pt] {\ dfrac {1} {x}} \ end {bMatrix}}}$	${\ displaystyle -2 {\ sqrt {\ eta _ {1} \ eta _ {2}}}-{\ frac {1} {2}} \ log (-2 \ eta _ _ _})}}$	${\ displaystyle -{\ frac {\ lambda} {\ mu}} -{\ frac {1} {2}} \ log \ lambda}$
gamma -verdeling	${\ displaystyle \ alpha, \ \ beta}$	${\ displayStyle {\ begin {bMatrix} \ alpha -1 \\ -\ beta \ end {bMatrix}}}$	${\ displayStyle {\ begin {bMatrix} \ eta _ {1} +1 \\-\ eta _ {2} \ end {bMatrix}}}$	${\ DisplayStyle 1}$	${\ DisplayStyle {\ begin {bMatrix} \ log x \\ x \ end {bMatrix}}}$	${\ displaystyle \ log \ gamma (\ eta _ {1} +1)-(\ eta _ {1} +1) \ log (-\ eta _ {2})}$	${\ DisplayStyle \ log \ gamma (\ alpha)-\ alpha \ log \ beta}$
	${\ displaystyle k, \ \ theta}$	${\ displaystyle {\ begin {bMatrix} k-1 \\ [5pt]-{\ dfrac {1} {\ theta}} \ end {bMatrix}}}}$	${\ displayStyle {\ begin {bMatrix} \ eta _ {1} +1 \\ [5pt]-{\ dfrac {1} {\ eta _ {2}}} \ end {bMatrix}}}}}}}}}}$				${\ DisplayStyle \ log \ gamma (k)+k \ log \ theta}$
omgekeerde gamma -verdeling	${\ displaystyle \ alpha, \ \ beta}$	${\ displayStyle {\ begin {bMatrix}-\ alpha -1 \\-\ beta \ end {bMatrix}}}$	${\ displayStyle {\ begin {bMatrix}-\ eta _ {1} -1 \\-\ eta _ {2} \ end {bMatrix}}}$	${\ DisplayStyle 1}$	${\ displaystyle {\ begin {bMatrix} \ log x \\ {\ frac {1} {x}} \ end {bMatrix}}}$	${\ displaystyle \ log \ gamma (-\ eta _ {1} -1)-(-\ eta _ {1} -1) \ log (-\ eta _ {2})}}$	${\ DisplayStyle \ log \ gamma (\ alpha)-\ alpha \ log \ beta}$
Gegeneraliseerde omgekeerde Gaussiaanse verdeling	${\ displaystyle p, \ a, \ b}$	${\ displayStyle {\ begin {bMatrix} p-1 \\-a/2 \\-b/2 \ end {bMatrix}}}$	${\ displayStyle {\ begin {bMatrix} \ eta _ {1} +1 \\-2 \ eta _ {2} \\-2 \ eta _ {3} \ end {bMatrix}}}$	${\ DisplayStyle 1}$	${\ displaystyle {\ begin {bMatrix} \ log x \\ x \\ {\ frac {1} {x}} \ end {bMatrix}}}$	${\ displaystyle \ log 2k _ {\ eta _ {1} +1} ({\ sqrt {4 \ eta _ {2} \ eta _ {3}}})-{\ frac {\ eta _ _ _ _ _ {1} +1 } {2}} \ log {\ frac {\ eta _ {2}} {\ eta _ {3}}}}$	${\ displaystyle \ log 2k_ {p} ({\ sqrt {ab}})-{\ frac {p} {2}} \ log {\ frac {a} {b}}}$
Geschaalde omgekeerde chi-kwadraatverdeling	${\ displaystyle \ nu, \ \ sigma ^{2}}$	${\ displayStyle {\ begin {bMatrix}-{\ dfrac {\ nu} {2}}-1 \\ [10pt]-{\ dfrac {\ nu \ sigma ^{2}}}} \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end \ end }}}$	${\ displayStyle {\ begin {bMatrix} -2 (\ eta _ {1} +1) \\ [10pt] {\ dfrac {\ eta _ {2}} {\ eta _ _ {1}}} \ end end {bMatrix}}}$	${\ DisplayStyle 1}$	${\ displaystyle {\ begin {bMatrix} \ log x \\ {\ frac {1} {x}} \ end {bMatrix}}}$	${\ displaystyle \ log \ gamma (-\ eta _ {1} -1)-(-\ eta _ {1} -1) \ log (-\ eta _ {2})}}$	${\ displaystyle \ log \ gamma \ left ({\ frac {\ nu} {2}} \ rechts)-{\ frac {\ nu} {2}} \ log {\ frac {\ nu \ sigma ^{2} } {2}}}$
Beta -verdeling (Variant 1)	${\ displaystyle \ alpha, \ \ beta}$	${\ displaystyle {\ begin {bMatrix} \ alpha \\\ beta \ end {bMatrix}}}$	${\ displayStyle {\ begin {bMatrix} \ eta _ {1} \\\ eta _ {2} \ end {bMatrix}}}$	${\ DisplayStyle {\ frac {1} {x (1-x)}}}$	${\ displayStyle {\ begin {bMatrix} \ log x \\\ log (1-x) \ end {bMatrix}}}$	${\ displayStyle \ log \ gamma (\ eta _ {1})+\ log \ gamma (\ eta _ {2})-\ log \ gamma (\ eta _ {1}+\ eta _ {2})}}$	${\ displaystyle \ log \ gamma (\ alpha) +\ log \ gamma (\ beta)-\ log \ gamma (\ alpha +\ beta)}$
Beta -verdeling (Variant 2)	${\ displaystyle \ alpha, \ \ beta}$	${\ displayStyle {\ begin {bMatrix} \ alpha -1 \\\ beta -1 \ end {bMatrix}}}$	${\ displayStyle {\ begin {bMatrix} \ eta _ {1} +1 \\\ eta _ {2} +1 \ end {bMatrix}}}$	${\ DisplayStyle 1}$	${\ displayStyle {\ begin {bMatrix} \ log x \\\ log (1-x) \ end {bMatrix}}}$	${\ displayStyle \ log \ gamma (\ eta _ {1} +1)+\ log \ gamma (\ eta _ {2} +1)-\ log \ gamma (\ eta _ {1}+\ eta _ _ {2 } +2)}$	${\ displaystyle \ log \ gamma (\ alpha) +\ log \ gamma (\ beta)-\ log \ gamma (\ alpha +\ beta)}$
multivariate normale verdeling	${\ displayStyle {\ boldsymbol {\ mu}}, \ {\ boldsymbol {\ sigma}}}$	${\ DisplayStyle {\ start {BMatrix} {\ boldsymbol {\ sigma}}^{-1} {\ boldsymbol {\ mu}} \\ [5pt]-{\ frac {1} {2} {\ \ boldsymbol {\ \ boldsymbol {\ \ boldsymbol {\ \ boldsymbol {\ \ boldsymbole \ Sigma}}^{-1} \ end {bMatrix}}}$	${\ DisplayStyle {\ begin {BMatrix}-{\ frac {1} {2}} {\ boldsymbol {\ eta}} _ {2}^{-1} {\ boldsymbol {\ eta}}} _ \ \ \ {1}} \ {1}} \ {1}}}} { \ [5pt]-{\ frac {1} {2}} {\ boldsymbol {\ eta}} _ {2}^{-1} \ end {bMatrix}}}$	${\ displaystyle (2 \ pi)^{-{\ frac {k} {2}}}}$	${\ displayStyle {\ begin {bMatrix} \ mathbf {x} \\ [5pt] \ mathbf {x} \ mathbf {x} ^{\ mathsf {t}} \ end {bMatrix}}}$	${\ displayStyle -{\ frac {1} {4}} {\ boldsymbol {\ eta}}} _ {1}^{\ mathsf {t}} {\ boldsymbol {\ eta}}} _}^{ -1 { -1 } {\ boldsymbol {\ eta}} _ {1}-{\ frac {1} {2}} \ log \ links | -2 {\ boldsymbol {\ eta}}} _ {2} \ rechter |}$	${\displaystyle {\frac {1}{2}}{\boldsymbol {\mu }}^{\mathsf {T}}{\boldsymbol {\Sigma }}^{-1}{\boldsymbol {\mu }} +{\ frac {1} {2}} \ log | {\ boldsymbol {\ sigma}} |}$
categorische verdeling (Variant 1)	${\ displaystyle p_ {1}, \ \ ldots, \, p_ {k}}$ waar ${\ DisplayStyle \ TextStyle \ Sum _ {i = 1}^{k} p_ {i} = 1}$	${\ displaystyle {\ begin {bMatrix} \ log p_ {1} \\\ vdots \\\ log p_ {k} \ end {bMatrix}}}$	${\ displayStyle {\ begin {bMatrix} e^{\ eta _ {1}} \\\ vdots \\ e^{\ eta _ {k}} \ end {bMatrix}}}$ waar ${\ DisplayStyle \ TextStyle \ sum _ {i = 1}^{k} e^{\ eta _ {i}} = 1}$	${\ DisplayStyle 1}$	${\ displayStyle {\ begin {bMatrix} [x = 1] \\\ vdots \\ {[x = k]} \ end {bMatrix}}}$ ${\ displaystyle [x = i]}$ is de Iverson -beugel*	${\ DisplayStyle 0}$	${\ DisplayStyle 0}$
categorische verdeling (Variant 2)	${\ displaystyle p_ {1}, \ \ ldots, \, p_ {k}}$ waar ${\ DisplayStyle \ TextStyle \ Sum _ {i = 1}^{k} p_ {i} = 1}$	${\ displayStyle {\ begin {bMatrix} \ log p_ {1}+c \\\ vdots \\\ log p_ {k}+c \ end {bMatrix}}}}$	${\ displaystyle {\ begin {bMatrix} {\ dfrac {1} {c}} e^{\ eta _ {1}} \\\ vdots \\ {\ dfrac {1}}} e^{\ eta _ {k}} \ end {bMatrix}} =}$ ${\ displayStyle {\ begin {bMatrix} {\ dfrac {e^{\ eta _ {1}}} {\ sum _ {i = 1}^{k} e^{\ eta _ {i}}}} \ \ \ [10pt] \ vdots \\ [5pt] {\ dfrac {e^{\ eta _ {k}}} {\ sum _ {i = 1}^{k} e^{\ eta _ _ {i}}} } \ end {bMatrix}}}$ waar ${\ DisplayStyle \ TextStyle \ sum _ {i = 1}^{k} e^{\ eta _ {i}} = c}$	${\ DisplayStyle 1}$	${\ displayStyle {\ begin {bMatrix} [x = 1] \\\ vdots \\ {[x = k]} \ end {bMatrix}}}$ ${\ displaystyle [x = i]}$ is de Iverson -beugel*	${\ DisplayStyle 0}$	${\ DisplayStyle 0}$
categorische verdeling (Variant 3)	${\ displaystyle p_ {1}, \ \ ldots, \, p_ {k}}$ waar ${\ displaystyle p_ {k} = 1- \ textstyle \ sum _ {i = 1}^{k-1} p_ {i}}$	${\ displayStyle {\ begin {bMatrix} \ log {\ dfrac {p_ {1}} {p_ {k}}}} \\ [10pt] \ vdots \\ [5pt] \ log {\ dfrac {p_ {k-1 }} {p_ {k}}}} \\ [15pt] 0 \ end {bMatrix}} =}$ ${\ displayStyle {\ begin {bMatrix} \ log {\ dfrac {p_ {1}} {1- \ sum _ {i = 1}^{k-1} p_ {i}}}} \\ [10pt] \ vdots \\ [5pt] \ log {\ dfrac {p_ {k-1}} {1- \ sum _ {i = 1}^{k-1} p_ {i}}}} \\ [15pt] 0 \ End { bMatrix}}}$ Dit is het omgekeerde softmax -functie, een generalisatie van de logit -functie.	${\ displayStyle {\ begin {bMatrix} {\ dfrac {e^{\ eta _ {1}}} {\ sum _ {i = 1}^{k} e^{\ eta _ {i}}}} \ \ \ [10pt] \ vdots \\ [5pt] {\ dfrac {e^{\ eta _ {k}}} {\ sum _ {i = 1}^{k} e^{\ eta _ _ {i}}} } \ end {bMatrix}} =}$ ${\ displayStyle {\ begin {bMatrix} {\ dfrac {e^{\ eta _ {1}}} {1+ \ sum _ {i = 1}^{k-1} e^{\ eta _ {i} }}} \\ [10pt] \ vdots \\ [5pt] {\ dfrac {e^{\ eta _ {k-1}}}} {1+ \ sum _ {i = 1}^{k-1} e ^{\ eta _ {i}}}}} \\ [15pt] {\ dfrac {1} {1+ \ sum _ {i = 1}^{k-1} e^{\ eta _ {i}}} } \ end {bMatrix}}}$ Dit is de softmax -functie, een generalisatie van de logistieke functie.	${\ DisplayStyle 1}$	${\ displayStyle {\ begin {bMatrix} [x = 1] \\\ vdots \\ {[x = k]} \ end {bMatrix}}}$ ${\ displaystyle [x = i]}$ is de Iverson -beugel*	${\ displayStyle \ log \ links (\ sum _ {i = 1}^{k} e^{\ eta _ {i}} \ rechts) = \ log \ links (1+ \ sum _ {i = 1}^ {k-1} e^{\ eta _ {i}} \ rechts)}$	${\ displayStyle-\ log p_ {k} =-\ log \ links (1- \ sum _ {i = 1}^{k-1} p_ {i} \ rechts)}$
multinomiale verdeling (Variant 1) met een bekend aantal proeven ${\ displaystyle n}$	${\ displaystyle p_ {1}, \ \ ldots, \, p_ {k}}$ waar ${\ DisplayStyle \ TextStyle \ Sum _ {i = 1}^{k} p_ {i} = 1}$	${\ displaystyle {\ begin {bMatrix} \ log p_ {1} \\\ vdots \\\ log p_ {k} \ end {bMatrix}}}$	${\ displayStyle {\ begin {bMatrix} e^{\ eta _ {1}} \\\ vdots \\ e^{\ eta _ {k}} \ end {bMatrix}}}$ waar ${\ DisplayStyle \ TextStyle \ sum _ {i = 1}^{k} e^{\ eta _ {i}} = 1}$	${\ displayStyle {\ frac {n!} {\ prod _ {i = 1}^{k} x_ {i}!}}}$	${\ displaystyle {\ begin {bMatrix} x_ {1} \\\ vdots \\ x_ {k} \ end {bMatrix}}}$	${\ DisplayStyle 0}$	${\ DisplayStyle 0}$
multinomiale verdeling (Variant 2) met een bekend aantal proeven ${\ displaystyle n}$	${\ displaystyle p_ {1}, \ \ ldots, \, p_ {k}}$ waar ${\ DisplayStyle \ TextStyle \ Sum _ {i = 1}^{k} p_ {i} = 1}$	${\ displayStyle {\ begin {bMatrix} \ log p_ {1}+c \\\ vdots \\\ log p_ {k}+c \ end {bMatrix}}}}$	${\ displaystyle {\ begin {bMatrix} {\ dfrac {1} {c}} e^{\ eta _ {1}} \\\ vdots \\ {\ dfrac {1}}} e^{\ eta _ {k}} \ end {bMatrix}} =}$ ${\ displayStyle {\ begin {bMatrix} {\ dfrac {e^{\ eta _ {1}}} {\ sum _ {i = 1}^{k} e^{\ eta _ {i}}}} \ \ \ [10pt] \ vdots \\ [5pt] {\ dfrac {e^{\ eta _ {k}}} {\ sum _ {i = 1}^{k} e^{\ eta _ _ {i}}} } \ end {bMatrix}}}$ waar ${\ DisplayStyle \ TextStyle \ sum _ {i = 1}^{k} e^{\ eta _ {i}} = c}$	${\ displayStyle {\ frac {n!} {\ prod _ {i = 1}^{k} x_ {i}!}}}$	${\ displaystyle {\ begin {bMatrix} x_ {1} \\\ vdots \\ x_ {k} \ end {bMatrix}}}$	${\ DisplayStyle 0}$	${\ DisplayStyle 0}$
multinomiale verdeling (Variant 3) met een bekend aantal proeven ${\ displaystyle n}$	${\ displaystyle p_ {1}, \ \ ldots, \, p_ {k}}$ waar ${\ displaystyle p_ {k} = 1- \ textstyle \ sum _ {i = 1}^{k-1} p_ {i}}$	${\ displayStyle {\ begin {bMatrix} \ log {\ dfrac {p_ {1}} {p_ {k}}}} \\ [10pt] \ vdots \\ [5pt] \ log {\ dfrac {p_ {k-1 }} {p_ {k}}}} \\ [15pt] 0 \ end {bMatrix}} =}$ ${\ displayStyle {\ begin {bMatrix} \ log {\ dfrac {p_ {1}} {1- \ sum _ {i = 1}^{k-1} p_ {i}}}} \\ [10pt] \ vdots \\ [5pt] \ log {\ dfrac {p_ {k-1}} {1- \ sum _ {i = 1}^{k-1} p_ {i}}}} \\ [15pt] 0 \ End { bMatrix}}}$	${\ displayStyle {\ begin {bMatrix} {\ dfrac {e^{\ eta _ {1}}} {\ sum _ {i = 1}^{k} e^{\ eta _ {i}}}} \ \ \ [10pt] \ vdots \\ [5pt] {\ dfrac {e^{\ eta _ {k}}} {\ sum _ {i = 1}^{k} e^{\ eta _ _ {i}}} } \ end {bMatrix}} =}$ ${\ displayStyle {\ begin {bMatrix} {\ dfrac {e^{\ eta _ {1}}} {1+ \ sum _ {i = 1}^{k-1} e^{\ eta _ {i} }}} \\ [10pt] \ vdots \\ [5pt] {\ dfrac {e^{\ eta _ {k-1}}}} {1+ \ sum _ {i = 1}^{k-1} e ^{\ eta _ {i}}}}} \\ [15pt] {\ dfrac {1} {1+ \ sum _ {i = 1}^{k-1} e^{\ eta _ {i}}} } \ end {bMatrix}}}$	${\ displayStyle {\ frac {n!} {\ prod _ {i = 1}^{k} x_ {i}!}}}$	${\ displaystyle {\ begin {bMatrix} x_ {1} \\\ vdots \\ x_ {k} \ end {bMatrix}}}$	${\ displaystyle n \ log \ links (\ sum _ {i = 1}^{k} e^{\ eta _ {i}} \ rechts) = n \ log \ links (1+ \ sum _ {i = 1 }^{k-1} e^{\ eta _ {i}} \ rechts)}$	${\ displaystyle -n \ log p_ {k} =-n \ log \ left (1- \ sum _ {i = 1}^{k-1} p_ {i} \ rechts)}$
Dirichlet -verdeling (Variant 1)	${\ displaystyle \ alpha _ {1}, \ \ ldots, \, \ alpha _ {k}}$	${\ displayStyle {\ begin {bMatrix} \ alpha _ {1} \\\ vdots \\\ alpha _ {k} \ end {bMatrix}}}}$	${\ displaystyle {\ begin {bMatrix} \ eta _ {1} \\\ vdots \\\ eta _ {k} \ end {bMatrix}}}}$	${\ DisplayStyle {\ frac {1} {\ Prod _ {i = 1}^{k} x_ {i}}}}$	${\ displayStyle {\ begin {bMatrix} \ log x_ {1} \\\ vdots \\\ log x_ {k} \ end {bMatrix}}}$	${\ displaystyle \ sum _ {i = 1}^{k} \ log \ gamma (\ eta _ {i})-\ log \ gamma \ left (\ sum _ {i = 1}^{k} \ eta _ {ik rechts)}$	${\ displaystyle \ sum _ {i = 1}^{k} \ log \ gamma (\ alpha _ {i})-\ log \ gamma \ links (\ sum _ {i = 1}^{k} \ alpha _ {ik rechts)}$
Dirichlet -verdeling (Variant 2)	${\ displaystyle \ alpha _ {1}, \ \ ldots, \, \ alpha _ {k}}$	${\ displayStyle {\ begin {bMatrix} \ alpha _ {1} -1 \\\ vdots \\\ alpha _ {k} -1 \ end {bMatrix}}}$	${\ displayStyle {\ begin {bMatrix} \ eta _ {1} +1 \\\ vdots \\\ eta _ {k} +1 \ end {bMatrix}}}}$	${\ DisplayStyle 1}$	${\ displayStyle {\ begin {bMatrix} \ log x_ {1} \\\ vdots \\\ log x_ {k} \ end {bMatrix}}}$	${\ displaystyle \ sum _ {i = 1}^{k} \ log \ gamma (\ eta _ {i} +1)-\ log \ gamma \ left (\ sum _ {i = 1}^{k} ( \ eta _ {i} +1) \ rechts)}$	${\ displaystyle \ sum _ {i = 1}^{k} \ log \ gamma (\ alpha _ {i})-\ log \ gamma \ links (\ sum _ {i = 1}^{k} \ alpha _ {ik rechts)}$
Wantart -verdeling	${\ DisplayStyle \ Mathbf {v}, \ n}$	${\ displayStyle {\ begin {bMatrix}-{\ frac {1} {2}} \ mathbf {v} ^{-1} \\ [5pt] {\ dfrac {n-p-1} {2}} \ end { bMatrix}}}$	${\ displayStyle {\ begin {bMatrix}-{\ frac {1} {2}} {{\ boldsymbol {\ eta}} _ {1}}^{-1}} \\ [5pt] 2 \ io _ _ _ {2 }+p+1 \ end {bMatrix}}}$	${\ DisplayStyle 1}$	${\ displayStyle {\ begin {bMatrix} \ mathbf {x} \\\ log | \ mathbf {x} | \ end {bMatrix}}}$	${\ DisplayStyle -\ Left (\ eta _ {2}+{\ frac {p+1} {2}} \ rechts) \ log | -{\ boldsymbol {\ eta}}} _ {1} |}$       ${\ displayStyle+\ log \ gamma _ {p} \ links (\ eta _ {2}+{\ frac {p+1} {2}} \ rechts) =}$ ${\displaystyle -{\frac {n}{2}}\log |-{\boldsymbol {\eta }}_{1}|+\log \Gamma _{p}\left({\frac {n}{ 2}} \ rechts) =}$ ${\ displaystyle \ links (\ eta _ {2}+{\ frac {p+1} {2}} \ rechts) (p \ log 2+ \ log | \ mathbf {v} |)}$       ${\ displaystyle+\ log \ gamma _ {p} \ links (\ eta _ {2}+{\ frac {p+1} {2}} \ rechts)}$ Er worden drie varianten met verschillende parameterinstellingen gegeven om computermomenten van de voldoende statistieken te vergemakkelijken.	${\ displayStyle {\ frac {n} {2}} (p \ log 2+ \ log | \ mathbf {v} |)+\ log \ gamma _ {p} \ links ({\ frac {n} {2} }\Rechtsaf)}$
	Opmerking: Gebruikt het feit dat ${\ DisplayStyle {\ rm {tr}} (\ Mathbf {a} ^{\ Mathsf {t}} \ Mathbf {b}) = \ OperatorName {vec} (\ Mathbf {a}) \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ cdot \ {vec} (\ mathbf {b}),}$ d.w.z. de spoor van een matrixproduct lijkt veel op een punt product. De matrixparameters worden verondersteld te zijn vectorediseerd (ingedeeld in een vector) wanneer ingevoegd in de exponentiële vorm. Ook, ${\ DisplayStyle \ Mathbf {v}}$ en ${\ DisplayStyle \ Mathbf {x}}$ zijn symmetrisch, dus b.v. ${\ DisplayStyle \ Mathbf {v} ^{\ Mathsf {t}} = \ Mathbf {v} \.}$
Inverse Wishart Distributie	${\ DisplayStyle \ Mathbf {\ psi}, \, m}$	${\ displayStyle {\ begin {bMatrix}-{\ frac {1} {2}} {\ boldsymbol {\ psi}}} \\ [5pt]-{\ dfrac {m+1}}}} \ eind {bMatrix}}}$	${\ displayStyle {\ begin {bMatrix} -2 {\ boldsymbol {\ eta}} _ {1} \\ [5pt]-(2 \ eta _ {2}+p+1) \ end {bMatrix}}}}$	${\ DisplayStyle 1}$	${\ displayStyle {\ begin {bMatrix} \ mathbf {x} ^{-1} \\\ log | \ mathbf {x} | \ end {bMatrix}}}}$	${\ DisplayStyle \ Left (\ eta _ {2}+{\ frac {p+1} {2}} \ rechts) \ log |-{\ boldsymbol {\ eta}}}} _ {1} |}$       ${\ displayStyle+\ log \ gamma _ {p} \ links (-{\ big (} \ eta _ {2}+{\ frac {p+1} {2}} {\ big)} \ rechts) =}$ ${\displaystyle -{\frac {m}{2}}\log |-{\boldsymbol {\eta }}_{1}|+\log \Gamma _{p}\left({\frac {m}{ 2}} \ rechts) =}$ ${\ displayStyle -\ Left (\ eta _ {2}+{\ frac {p+1} {2}} \ rechts) (p \ log 2- \ log | {\ boldsymbol {\ psi}}}}}$       ${\ displayStyle+\ log \ gamma _ {p} \ links (-{\ big (} \ eta _ {2}+{\ frac {p+1} {2}} {\ big)} \ rechts)}$	${\ displayStyle {\ frac {m} {2}} (p \ log 2- \ log | {\ boldsymbol {\ psi}} |)+\ log \ gamma _ {p} \ left ({\ frac {m} {2}} \ rechts)}$
normale gamma-verdeling	${\ displaystyle \ alpha, \ \ beta, \ \ mu, \ \ lambda}$	${\ displayStyle {\ begin {bMatrix} \ alpha -{\ frac {1} {2}} \\ -\ beta -{\ dfrac {\ lambda \ mu ^{2}}}}}}}}}}}}}} \\ lambda \ \\ lambda \ \\ lambda \ \\ lambda \ \\ \\ lambda \ \\ mu \\-{\ dfrac {\ lambda} {2}} \ end {bMatrix}}}$	${\ displayStyle {\ begin {bMatrix} \ eta _ {1}+{\ frac {1} {2}} \\-\ eta _ {2}+{\ dfrac {\ eta _ {3}^{2}^{2}^{2}^{2}^{2}^{2}^{2}^{2}^{2}^{2}^{2} } {4 \ eta _ {4}}}} \\-{\ dfrac {\ eta _ {3}} {2 \ eta _ {4}}}} \\-2 \ eta _ {4} \ end {bMatrix} }}$	${\ DisplayStyle {\ dfrac {1} {\ sqrt {2 \ pi}}}}$	${\ displaystyle {\ begin {bMatrix} \ log \ tau \\\ tau \\\ tau x \\\ tau x^{2} \ end {bMatrix}}}}$	${\ displayStyle \ log \ gamma \ links (\ eta _ {1}+{\ frac {1} {2}} \ rechts)-{\ frac {1} {2}} \ log \ links (-2 \ eta _ {4} \ rechts)}$       ${\ DisplayStyle -\ Left (\ eta _ {1}+{\ frac {1} {2}} \ rechts) \ log \ links ( -\ eta _ {2}+{\ dfrac {\ eta _ {3} ^{2}} {4 \ eta _ {4}}} \ rechts)}$	${\ displaystyle \ log \ gamma \ left (\ alpha \ rechts) -\ alpha \ log \ beta -{\ frac {1} {2}} \ log \ lambda}$

* De Iverson -beugel is een generalisatie van de discrete delta-functie: als de bracketed-uitdrukking waar is, heeft de beugel waarde 1; Als de ingesloten verklaring onjuist is, is de Iverson -beugel nul. Er zijn veel variantnotaties, b.v. Wavey -beugels: ⧙a=b⧘ is gelijk aan de [a=b] Notatie hierboven gebruikt.

De drie varianten van de categorische verdeling en multinomiale verdeling zijn te wijten aan het feit dat de parameters ${\ displaystyle p_ {i}}$ zijn beperkt, zodanig dat

${\ displaystyle \ sum _ {i = 1}^{k} p_ {i} = 1 ~.}$

Er zijn dus alleen ${\ DisplayStyle K-1}$ onafhankelijke parameters.

• Variant 1 gebruikt ${\ displaystyle k}$ Natuurlijke parameters met een eenvoudige relatie tussen de standaard en natuurlijke parameters; Maar alleen ${\ DisplayStyle K-1}$ van de natuurlijke parameters zijn onafhankelijk en de set van ${\ displaystyle k}$ Natuurlijke parameters is niet -identificeerbaar. De beperking op de gebruikelijke parameters vertaalt zich in een vergelijkbare beperking op de natuurlijke parameters.
• Variant 2 toont het feit dat de gehele set natuurlijke parameters niet -identificeerbaar is: het toevoegen van een constante waarde aan de natuurlijke parameters heeft geen effect op de resulterende verdeling. Door de beperking op de natuurlijke parameters te gebruiken, kan de formule voor de normale parameters echter in termen van de natuurlijke parameters worden geschreven op een manier die onafhankelijk is op de constante die wordt toegevoegd.
• Variant 3 laat zien hoe de parameters op een handige manier kunnen worden geïdentificeerd door in te stellen ${\ displaystyle c =-\ log p_ {k} \.}$ Dit "draait" dit effectief ${\ displaystyle p_ {k}}$ en zorgt ervoor dat de laatste natuurlijke parameter de constante waarde van 0 heeft. Alle resterende formules zijn geschreven op een manier die geen toegang heeft ${\ displaystyle p_ {k} \}$, zodat het model effectief alleen heeft ${\ DisplayStyle K-1}$ Parameters, zowel van de gebruikelijke als van de natuurlijke soort.

Varianten 1 en 2 zijn eigenlijk helemaal geen standaard exponentiële families. Ze zijn eerder gebogen exponentiële families, d.w.z. er zijn ${\ DisplayStyle K-1}$ onafhankelijke parameters ingebed in een ${\ displaystyle k}$-Dimensionale parameterruimte.^[13] Veel van de standaardresultaten voor exponentiële gezinnen zijn niet van toepassing op gebogen exponentiële families. Een voorbeeld is de log-partitiefunctie ${\ displaystyle a (x) \}$, die de waarde van 0 heeft in de gebogen gevallen. In standaard exponentiële families komen de derivaten van deze functie overeen met de momenten (technischer, de cumulanten) van de voldoende statistieken, b.v. het gemiddelde en de variantie. Een waarde van 0 suggereert echter dat het gemiddelde en de variantie van alle voldoende statistieken uniform 0 zijn, terwijl in feite het gemiddelde van de ${\ displaystyle i}$de voldoende statistiek zou moeten zijn ${\ displaystyle p_ {i} \}$. (Dit komt correct naar voren bij het gebruik van de vorm van ${\ displaystyle a (x) \}$ getoond in Variant 3.)

Momenten en cumulanten van de voldoende statistiek

Normalisatie van de verdeling

We beginnen met de normalisatie van de waarschijnlijkheidsverdeling. In het algemeen, elke niet-negatieve functie f(x) dat dient als de kernel van een waarschijnlijkheidsverdeling (het deel dat codeert voor alle afhankelijkheid van x) kan door een juiste verdeling worden gemaakt door normaal: d.w.z.

${\ displaystyle p (x) = {\ frac {1} {z}} f (x)}$

waar

${\ displaystyle z = \ int _ {x} f (x) \, dx.}$

De factor Z wordt soms de normaal of partitiefunctie, gebaseerd op een analogie met statistische fysica.

In het geval van een exponentiële familie waar

${\ displaystyle p (x; {\ boldsymbol {\ eta}}) = g ({\ boldsymbol {\ eta}}) h (x) e^{{\ boldsymbol {\ eta}} \ cdot \ mathbf {t} (x)},}$

De kernel is

${\ displaystyle k (x) = h (x) e^{{\ boldsymbol {\ eta}} \ cdot \ mathbf {t} (x)}}$

en de partitiefunctie is

${\ displaystyle z = \ int _ {x} h (x) e^{{\ boldsymbol {\ eta}} \ cdot \ mathbf {t} (x)} \, dx.}$

Omdat de verdeling moet worden genormaliseerd, hebben we dat

${\ displayStyle 1 = \ int _ {x} g ({\ boldsymbol {\ eta}}) h (x) e^{{\ boldsymbol {\ eta}} \ cdot \ mathbf {t} (x)} \, dx = g ({\ boldsymbol {\ eta}}) \ int _ {x} h (x) e^{{\ boldsymbol {\ eta}} \ cdot \ mathbf {t} (x)} \, dx = g ({\ boldsymbol {\ eta}}) z.}$

Met andere woorden,

${\ displaystyle g ({\ boldsymbol {\ eta}}) = {\ frac {1} {z}}}$

of gelijkwaardig

${\ displaystyle a ({\ boldsymbol {\ eta}}) =-\ log g ({\ boldsymbol {\ eta}}) = \ log z.}$

Dit rechtvaardigt roepen A de log-formalizer of Log-partitiefunctie.

Moment-genererende functie van de voldoende statistiek

Nu de Moment-genererende functie van T(x) is

${\ displaystyle m_ {t} (u) \ equiv e [e^{u^{\ top} t (x)} \ mid \ eta] = \ int _ {x} h (x) e^{(\ eta +u)^{\ top} t (x) -a (\ eta)} \, dx = e^{a (\ eta +u) -a (\ eta)}}$

het bewijzen van de eerdere verklaring dat

${\ displaystyle k (u \ mid \ eta) = a (\ eta +u) -a (\ eta)}$

is de Cumulant genererende functie voor T.

Een belangrijke subklasse van exponentiële gezinnen zijn de Natuurlijke exponentiële families, die een vergelijkbare vorm hebben voor de moment-genererende functie voor de verdeling van x.

Differentiële identiteiten voor cumulantia

In het bijzonder, met behulp van de eigenschappen van de cumulant -genererende functie,

${\ displayStyle \ OperatorName {e} (t_ {j}) = {\ frac {\ Partial a (\ eta)} {\ partial \ eta _ {j}}}}$

en

${\ DisplayStyle \ OperatorName {cov} \ left (t_ {i}, \ t_ {j} \ rechts) = {\ frac {\ partial ^{2} a (\ eta)} {\ partial \ eta _ _ _ {i} \, \ Partial \ eta _ {J}}}.}$

De eerste twee ruwe momenten en alle gemengde tweede momenten kunnen worden hersteld uit deze twee identiteiten. Momenten van hogere orde en cumulanten worden verkregen door hogere derivaten. Deze techniek is vaak nuttig wanneer T is een gecompliceerde functie van de gegevens, waarvan de momenten moeilijk te berekenen zijn door integratie.

Een andere manier om dit te zien die niet afhankelijk is van de theorie van cumulanten is om te beginnen met het feit dat de verdeling van een exponentiële familie moet worden genormaliseerd en onderscheid moet worden gemaakt. We illustreren het gebruik van het eenvoudige geval van een eendimensionale parameter, maar een analoge afleiding geldt meer in het algemeen.

In het eendimensionale geval hebben we

${\ displaystyle p (x) = g (\ eta) h (x) e^{\ eta t (x)}.}$

Dit moet worden genormaliseerd, dus

${\ displaystyle 1 = \ int _ {x} p (x) \, dx = \ int _ {x} g (\ eta) h (x) e^{\ eta t (x)} \, dx = g ( \ eta) \ int _ {x} h (x) e^{\ eta t (x)} \, dx.}$

Neem de derivaat van beide kanten met betrekking tot η:

${\ displayStyle {\ begin {aligned} 0 & = g (\ eta) {\ frac {d} {d \ eta}} \ int _ {x} h (x) e^{\ eta t (x)} \, dx+g '(\ eta) \ int _ {x} h (x) e^{\ eta t (x)} \, dx \\ & = g (\ eta) \ int _ {x} h (x) \ links ({\ frac {d} {d \ eta}} e^{\ eta t (x)} \ rechts) \, dx+g '(\ eta) \ int _ {x} h (x) e^ {\ eta t (x)} \, dx \\ & = g (\ eta) \ int _ {x} h (x) e^{\ eta t (x)} t (x) \, dx+g ' (\ eta) \ int _ {x} h (x) e^{\ eta t (x)} \, dx \\ & = \ int _ {x} t (x) g (\ eta) h (x) e^{\ eta t (x)} \, dx+{\ frac {g '(\ eta)} {g (\ eta)}} \ int _ {x} g (\ eta) h (x) e^{ \ eta t (x)} \, dx \\ & = \ int _ {x} t (x) p (x) \, dx+{\ frac {g '(\ eta)} {g (\ eta)}} \ int _ {x} p (x) \, dx \\ & = \ operatorName {e} [t (x)]+{\ frac {g '(\ eta)} {g (\ eta)}}} \\ & = \ operatorName {e} [t (x)]+{\ frac {d} {d \ eta}} \ log g (\ eta) \ end {uitgelijnd}}}$

Daarom,

${\ displayStyle \ OperatorName {e} [t (x)] =-{\ frac {d} {d \ eta}} \ log g (\ eta) = {\ frac {d} {d \ eta}} a ( \ eta).}$

voorbeeld 1

Overweeg als een inleidend voorbeeld de gamma -verdeling, wiens verdeling wordt gedefinieerd door

${\ displaystyle p (x) = {\ frac {\ beta^{\ alpha}} {\ gamma (\ alpha)}} x^{\ alpha -1} e^{ -\ beta x}.}.$

Verwijzend naar de bovenstaande tabel, kunnen we zien dat de natuurlijke parameter wordt gegeven door

${\ DisplayStyle \ eta _ {1} = \ alpha -1,}$

${\ DisplayStyle \ eta _ {2} =-\ beta,}$

De omgekeerde substituties zijn

${\ displayStyle \ alpha = \ eta _ {1} +1,}$

${\ displayStyle \ beta =-\ eta _ {2},}$

De voldoende statistieken zijn ${\ displaystyle (\ log x, x),}$ en de log-partitiefunctie is

${\ displaystyle a (\ eta _ {1}, \ eta _ {2}) = \ log \ gamma (\ eta _ {1} +1)-(\ eta _ {1} +1) \ log (-\ eta _ {2}).}$

We kunnen het gemiddelde van de voldoende statistieken als volgt vinden. Ten eerste voor η₁:

${\displaystyle {\begin{aligned}\operatorname {E} [\log x]&={\frac {\partial A(\eta _{1},\eta _{2})}{\partial \eta _ {1}}} = {\ frac {\ Partial} {\ Partial \ eta _ {1}}} \ left (\ log \ gamma (\ eta _ {1} +1)-(\ eta _ _ _ _ _ {1}+ 1) \ log (-\ eta _ {2}) \ rechts) \\ & = \ psi (\ eta _ {1} +1)-\ log (-\ eta _ {2}) \\ & = \ psi (\ alpha)-\ log \ beta, \ end {uitgelijnd}}}$

Waar ${\ displaystyle \ psi (x)}$ is de Digamma -functie (afgeleide van loggamma), en we hebben de omgekeerde substituties in de laatste stap gebruikt.

Nu voor η₂:

${\ displayStyle {\ begin {uitgelijnd} \ operatorName {e} [x] & = {\ frac {\ partial a (\ eta _ {1}, \ eta _ {2})}}} {\ partial \ eta _ _ _ {\ _ _ _ _ {\ io _ _ {\ eta _ _ _ {\ eta _ _ _ {\ eta _ _ _ {\ eta _ _ _ {\ eta _ _ _ {\ eta _ _ {\ eta _ _ _ {2 }}} = {\ frac {\ Partial} {\ Partial \ eta _ {2}}} \ links (\ log \ gamma (\ eta _ {1} +1)-(\ eta _ _ {1} +1) \ log (-\ eta _ {2}) \ rechts) \\ & =-(\ eta _ {1} +1) {\ frac {1} {-\ eta _ {2}}} (-1) = {\ frac {\ eta _ {1} +1} {-\ eta _ {2}}} \\ & = {\ frac {\ alpha} {\ beta}}, \ end {aligned}}}}}}}}}}}}}}}}}}}}$

Wederom de omgekeerde vervanging maken in de laatste stap.

Om de variantie van te berekenen x, we onderscheiden gewoon weer:

${\ displayStyle {\ begin {uitgelijnd} \ operatorName {var} (x) & = {\ frac {\ partial ^{2} a \ links (\ eta _ {1}, \ eta _ _ {2} \ rechts)} {\ partial \ eta _ {2}^{2}}} = {\ frac {\ partial} {\ partial \ eta _ {2}}}} {\ frac {\ eta _ _ _ _} +1} {-\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ io niet eta _{2}}}\\&={\frac {\eta _{1}+1}{\eta _{2}^{2}}}\\&={\frac {\alpha }{\ Beta ^{2}}}. \ end {uitgelijnd}}}$

Al deze berekeningen kunnen worden gedaan met behulp van integratie, waardoor verschillende eigenschappen van de Gamma -functie, maar dit vereist aanzienlijk meer werk.

Voorbeeld 2

Als een ander voorbeeld beschouw een echte gewaardeerde willekeurige variabele X met dichtheid

${\ displaystyle p _ {\ theta} (x) = {\ frac {\ theta e^{-x}} {\ links (1 +e^{-x} \ rechts)^{\ theta +1}}}}}$

geïndexeerd door vormparameter ${\ displayStyle \ theta \ in (0, \ infty)}$ (Dit wordt de Skew-logistische verdeling). De dichtheid kan worden herschreven als

${\ displayStyle {\ frac {e^{-x}} {1+e^{-x}}} \ exp \ left (-\ theta \ log \ links (1+e^{-x} \ rechts)+ \ log (\ theta) \ rechts)}$

Merk op dat dit een exponentiële familie is met een natuurlijke parameter

${\ displayStyle \ eta =-\ theta,}$

voldoende statistiek

${\ displaystyle t = \ log \ links (1+e^{-x} \ rechts),}$

en log-partitiefunctie

${\ displaystyle a (\ eta) =-\ log (\ theta) =-\ log (-\ eta)}$

Dus het gebruik van de eerste identiteit,

${\ DisplayStyle \ OperatorName {e} (\ log (1+e^{-x})) = \ OperatorName {e} (t) = {\ frac {\ partial a (\ eta)} {\ partial \ eta} } = {\ frac {\ partial} {\ partial \ eta}} [-\ log (-\ eta)] = {\ frac {1} {-\ eta}} = {\ frac {1} {\ theta} },}$

en het gebruik van de tweede identiteit

${\ displayStyle \ OperatorName {var} (\ log \ links (1+e ^{-x} \ rechts)) = {\ frac {\ partial ^{2} a (\ eta)} {\ partial \ eta ^{ 2}}} = {\ frac {\ partial} {\ partial \ eta}} \ links [{\ frac {1} {-\ eta}} \ rechts] = {\ frac {1} {(-\ eta) ^{2}}} = {\ frac {1} {\ theta ^{2}}}.}$

Dit voorbeeld illustreert een geval waarin het gebruik van deze methode heel eenvoudig is, maar de directe berekening zou bijna onmogelijk zijn.

Voorbeeld 3

Het laatste voorbeeld is er een waar integratie uiterst moeilijk zou zijn. Dit is het geval van de Wantart -verdeling, die wordt gedefinieerd over matrices. Zelfs het nemen van derivaten is een beetje lastig, zoals het gaat om matrixcalculus, maar de respectieve identiteiten worden in dat artikel vermeld.

Uit de bovenstaande tabel kunnen we zien dat de natuurlijke parameter wordt gegeven door

${\ displayStyle {\ boldsymbol {\ eta}} _ {1} =-{\ frac {1} {2}} \ Mathbf {v} ^{-1},}$

${\ displayStyle \ eta _ {2} = {\ frac {n-p-1} {2}},}$

De omgekeerde substituties zijn

${\ displayStyle \ Mathbf {v} =-{\ frac {1} {2}} {{\ boldsymbol {\ eta}} _ {1}}^{-1},}$

${\ displaystyle n = 2 \ eta _ {2}+p+1,}$

en de voldoende statistieken zijn ${\ displayStyle (\ Mathbf {x}, \ log | \ Mathbf {x} |).}$

De log-partitiefunctie is in verschillende vormen in de tabel geschreven om differentiatie en back-substitutie te vergemakkelijken. We gebruiken de volgende formulieren:

${\ displayStyle a ({\ boldsymbol {\ eta}} _ {1}, n) =-{\ frac {n} {2}} \ log |-{\ boldsymbol {\ eta}} _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ {1} |+++++ \ log \ gamma _ {p} \ left ({\ frac {n} {2}} \ rechts),}$

${\ displaystyle a (\ mathbf {v}, \ eta _ {2}) = \ left (\ eta _ {2}+{\ frac {p+1} {2}} \ rechts) (p \ log 2+ \ log | \ mathbf {v} |)+\ log \ gamma _ {p} \ links (\ eta _ {2}+{\ frac {p+1} {2}} \ rechts).}$

Verwachting van X (geassocieerd met η₁)

Om te onderscheiden met betrekking tot η₁, we hebben het volgende nodig matrixcalculus identiteit:

${\ displayStyle {\ frac {\ partial \ log | a \ mathbf {x} |} {\ partial \ mathbf {x}}} = (\ mathbf {x} ^{-1}) ^{\ rm {t} }}$

Dan:

${\ displayStyle {\ begin {uitgelijnd} \ operatorName {e} [\ mathbf {x}] & = {\ frac {\ partial a \ links ({\ boldsymbol {\ eta}} _ {1}, \ recht )} {\ PARTIAL {\ boldsymbol {\ eta}} _ {1}}}} \\ & = {\ frac {\ partial} {\ partial {\ boldsymbol {\ eta}}} _ {1}}}} \ left [Left [Left [Left [Left [Left [Left [Left [Left [Left [Left [ -{\ frac {n} {2}} \ log |-{\ boldsymbol {\ eta}} _ {1} |+\ log \ gamma _ {p} \ left ({\ frac {n}}}}} \ rechts) \ right] \\ & =-{\ frac {n} {2}} ({\ boldsymbol {\ eta}} _ {1}^{-1})^{\ rm {t}}} \\ & = {\ frac {n} {2}} (-{\ boldsymbol {\ eta}} _ {1}^{-1})^{\ rm {t}}} \\ & = n (\ mathbf {v {v })^{\ rm {t}} \\ & = n \ mathbf {v} \ end {uitgelijnd}}}$

De laatste regel gebruikt het feit dat V is symmetrisch en daarom is het hetzelfde wanneer het wordt getransponeerd.

Verwachting van log |X| (geassocieerd met η₂)

Nu voor η₂, we moeten eerst het deel van de log-partitiefunctie uitbreiden waarbij de multivariate gamma -functie:

${\ displaystyle \ log \ gamma _ {p} (a) = \ log \ left (\ pi ^{\ frac {p (p-1)} {4}} \ prod _ {j = 1} ^{p} \ Gamma \ links (a +{\ frac {1-j} {2}} \ rechts) \ rechts) = {\ frac {p (p-1)} {4}} \ log \ pi +\ sum _ {j = 1}^{p} \ log \ gamma \ links [a+{\ frac {1-j} {2}} \ rechts]}$

We hebben ook de Digamma -functie:

${\ displayStyle \ psi (x) = {\ frac {d} {dx}} \ log \ gamma (x).}$

Dan:

${\ displayStyle {\ begin {uitgelijnd} \ operatorName {e} [\ log | \ mathbf {x} |] & = {\ frac {\ partial a \ links (\ ldots, \ eta _ {2} \ rechter)} {\ PARTIAL \ ETA _ {2}}}} \\ & = {\ frac {\ Partial} {\ Partial \ eta _ {2}}} \ links [-\ left (\ eta _ _ {2}+{\ frac {p+1} {2}} \ rechts) (p \ log 2+ \ log | \ mathbf {v} |)+\ log \ gamma _ {p} \ links (\ eta _ {2}+{\ frac {p+1} {2}} \ rechts) \ rechts] \\ & = {\ frac {\ partial} {\ partial \ eta _ {2}}} \ links [\ links (\ eta _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ {2} {\ frac {p+1} {2}} \ rechts) (p \ log 2+ \ log | \ mathbf {v} |)+{\ frac {p (p-1)} {4}} \ log \ pi+\ sum _ {j = 1}^{p} \ log \ gamma \ links (\ eta _ {2}+{\ frac {p+1} {2}}+{\ frac {1-j} { 2}} \ rechts) \ rechts] \\ & = p \ log 2+ \ log | \ mathbf {v} |+\ sum _ {j = 1}^{p} \ psi \ links (\ eta _ {2 }+{\ frac {p+1} {2}}+{\ frac {1-j} {2}} \ rechts) \\ & = p \ log 2+ \ log | \ mathbf {v} |+\ som _ {j = 1}^{p} \ psi \ left ({\ frac {n-p-1} {2}}+{\ frac {p+1} {2}}+{\ frac {1-j} {2}} \ rechts) \\ & = p \ log 2+ \ log | \ mathbf {v} |+\ sum _ {j = 1}^{p} \ psi \ left ({\ frac {n+1 -j} {2}} \ rechts) \ end {uitgelijnd}}}$

Deze laatste formule wordt vermeld in de Wantart -verdeling artikel. Beide verwachtingen zijn nodig bij het afleiden van de variabele Bayes Update vergelijkingen in een Bayes Network met een Wiskart -verdeling (dat is de geconjugeerd prior van de multivariate normale verdeling).

Het berekenen van deze formules met behulp van integratie zou veel moeilijker zijn. De eerste zou bijvoorbeeld matrixintegratie vereisen.

Entropie

Relatieve entropie

De relatieve entropie (Kullback - leibler divergentie, KL divergentie) van twee distributies in een exponentiële familie heeft een eenvoudige uitdrukking als de Bregman Divergence tussen de natuurlijke parameters met betrekking tot de log-normalizer.^[14] De relatieve entropie is gedefinieerd in termen van een integraal, terwijl de Bregman -divergentie wordt gedefinieerd in termen van een derivaat en innerlijk product, en dus gemakkelijker te berekenen is en heeft een gesloten vorm expressie (uitgaande van de afgeleide heeft een gesloten-vorm-uitdrukking). Verder is de Bregman-divergentie in termen van de natuurlijke parameters en de log-normalizer gelijk convex conjugaat functie.^[15]

Een exponentiële familie repareren met log-normalizer ${\ displaystyle a}$ (met convex conjugaat ${\ displaystyle a^{*}}$), schrijven ${\ displaystyle p_ {a, \ theta}}$ Voor de verdeling in deze familie die overeenkomt met een vaste waarde van de natuurlijke parameter ${\ DisplayStyle \ theta}$ (schrijven ${\ DisplayStyle \ theta '}$ voor een andere waarde, en met ${\ displayStyle \ eta, \ eta '}$ Voor de overeenkomstige dubbele verwachting/momentparameters), schrijven KL voor de KL -divergentie, en ${\ DisplayStyle B_ {A}}$ Voor de Bregman -divergentie zijn de verschillen gerelateerd als:

${\ displaystyle {\ rm {{kl} (p_ {a, \ theta} \ parallel p_ {a, \ theta '}) = b_ {a} (\ theta' \ parallel \ theta) = b_ {a^{** }} (\ eta \ parallel \ eta ').}}}$

De KL -divergentie is conventioneel geschreven met betrekking tot de eerst parameter, terwijl de Bregman -divergentie conventioneel is geschreven met betrekking tot de seconde Parameter, en dus kan dit worden gelezen als "de relatieve entropie is gelijk aan de Bregman-divergentie die wordt gedefinieerd door de log-normalizer op de verwisselde natuurlijke parameters", of gelijkwaardig als "gelijk aan de Bregman-divergentie gedefinieerd door de dubbele van de log-normalizer over de verwachtingparameters ".

Maximale entropie-afleiding

Exponentiële families komen op natuurlijke wijze op als antwoord op de volgende vraag: wat is de maximale entropie Verdeling consistent met gegeven beperkingen op verwachte waarden?

De Informatie -entropie van een waarschijnlijkheidsverdeling DF(x) kan alleen worden berekend met betrekking tot een andere waarschijnlijkheidsverdeling (of, meer in het algemeen, een positieve maatregel), en beide maatregelen moet wederzijds zijn Absoluut continu. Dienovereenkomstig moeten we een referentiemaatregel Dh(x) met dezelfde ondersteuning als DF(x).

De entropie van DF(x) ten opzichte van Dh(x) is

${\ displaystyle s [df \ mid dh] =-\ int {\ frac {df} {dh}} \ log {\ frac {df} {dh}} \, dh}$

of

${\ displaystyle s [df \ mid dh] = \ int \ log {\ frac {dh} {df}} \, df}$

waar DF/Dh en Dh/DF zijn Radon -nikodymderivaten. De gewone definitie van entropie voor een discrete verdeling die op een set wordt ondersteund I, namelijk

${\ displaystyle s =-\ sum _ {i \ in i} p_ {i} \ log p_ {i}}$

gaat uit van, hoewel dit zelden wordt opgemerkt, dat Dh wordt gekozen om de tellen maatregel Aan I.

Overweeg nu een verzameling waarneembare hoeveelheden (willekeurige variabelen) T_i. De waarschijnlijkheidsverdeling DF wiens entropie met betrekking tot Dh is het grootst, afhankelijk van de voorwaarden die de verwachte waarde van T_i gelijk zijn aan t_i, is een exponentiële familie met Dh als referentiemaatregel en (T₁, ..., T_n) als voldoende statistiek.

De afleiding is een simpele variabele berekening gebruik makend van Lagrange -vermenigvuldigers. Normalisatie wordt opgelegd door te verhuren T₀ = 1 zijn een van de beperkingen. De natuurlijke parameters van de verdeling zijn de Lagrange -multiplicatoren, en de normalisatiefactor is de Lagrange -multiplier geassocieerd met T₀.

Zie voor voorbeelden van dergelijke afleidingen Maximale entropie waarschijnlijkheidsverdeling.

Rol in statistieken

Klassieke schatting: toereikendheid

Volgens de Pitman–Koopman–Darmois stelling, onder families van waarschijnlijkheidsverdelingen waarvan het domein niet varieert met de geschatte parameter, alleen in exponentiële families is er een voldoende statistiek waarvan de dimensie begrensd blijft naarmate de steekproefomvang toeneemt.

Minder veronderstel X_k, (waar k = 1, 2, 3, ... n) zijn onafhankelijk, identiek verdeelde willekeurige variabelen. Alleen als hun verdeling een van de exponentiële familie van distributies is er een voldoende statistiek T(X₁, ..., X_n) van wie nummer van scalaire componenten neemt niet toe als de steekproefomvang n verhoogt; de statistiek T misschien een vector of een enkel scalair nummer, maar wat het ook is, het is maat Zal niet groeien of krimpen wanneer meer gegevens worden verkregen.

Als een tegenvoorbeeld Als deze voorwaarden ontspannen zijn, is de familie van uniforme verdelingen (of discreet of continu, met een of beide grenzen onbekend) heeft een voldoende statistiek, namelijk het monstermaximum, het monsterminimum en de steekproefomvang, maar vormt geen exponentiële familie, omdat het domein varieert met de parameters.

Bayesiaanse schatting: conjugaatverdelingen

Exponentiële gezinnen zijn ook belangrijk in Bayesiaanse statistieken. In Bayesiaanse statistieken a eerdere verdeling wordt vermenigvuldigd door een waarschijnlijkheidsfunctie en vervolgens genormaliseerd om een ​​te produceren achterste verdeling. In het geval van een waarschijnlijkheid die tot een exponentieel gezin is, bestaat er een geconjugeerd prior, die vaak ook in een exponentiële familie is. Een geconjugeerde eerdere π voor de parameter ${\ DisplayStyle {\ boldsymbol {\ eta}}}$ van een exponentieel gezin

${\ displaystyle f (x \ mid {\ boldsymbol {\ eta}}) = h (x) \ exp \ left ({\ boldsymbol {\ eta}}^{\ rm {t}} \ mathbf {t} (x ) -A ({\ boldsymbol {\ eta}}) \ rechts)}$

is gegeven door

${\ displaystyle p _ {\ pi} ({\ boldsymbol {\ eta}} \ mid {\ boldsymbol {\ chi}}, \ nu) = f ({\ boldsymbol {\ chi}}, \ nu) \ \ \ nu) \ \ \ nu) \ \ nu) \ \ nu) \ left )$

of gelijkwaardig

${\ displaystyle p _ {\ pi} ({\ boldsymbol {\ eta}} \ mid {\ boldsymbol {\ chi}}, \ nu) = f ({\ boldsymbol {\ chi}}, \ nu) g (\ \ nu) g (\ \ nu) g (\ \ nu) g (\ \ nu) boldsymbol {\ eta}})^{\ nu} \ exp \ left ({\ boldsymbol {\ eta}}^{\ rm {t}} {\ boldsymbol {\ chi}} \ recht) {\ chi}} \ in \ mathbb {r} ^{s}}$

waar s is de dimensie van ${\ DisplayStyle {\ boldsymbol {\ eta}}}$ en ${\ DisplayStyle \ Nu> 0}$ en ${\ DisplayStyle {\ boldsymbol {\ chi}}}$ zijn hyperparameters (parameters die parameters besturen). ${\ DisplayStyle \ nu}$ komt overeen met het effectieve aantal waarnemingen dat de eerdere verdeling bijdraagt, en ${\ DisplayStyle {\ boldsymbol {\ chi}}}$ komt overeen met het totale bedrag dat deze pseudo-observaties bijdragen aan de voldoende statistiek over alle observaties en pseudo-observaties. ${\ displaystyle f ({\ boldsymbol {\ chi}}, \ nu)}$ is een normalisatieconstante die automatisch wordt bepaald door de resterende functies en dient om ervoor te zorgen dat de gegeven functie een is waarschijnlijkheidsdichtheidsfunctie (d.w.z. het is genormaliseerd). ${\ displaystyle a ({\ boldsymbol {\ eta}})}$ en gelijkwaardig ${\ displaystyle g ({\ boldsymbol {\ eta}})}$ zijn dezelfde functies als in de definitie van de verdeling waarover π de conjugaat vooraf is.

Een geconjugeerde prior is er een die, in combinatie met de waarschijnlijkheid en genormaliseerd, een posterieure verdeling produceert die van hetzelfde type is als de prior. Als men bijvoorbeeld de succeskans van een binomiale verdeling schat, dan is de posterior een andere bèta -verdeling als men ervoor kiest om een ​​bètaverdeling als iemands te gebruiken. Dit maakt de berekening van het achterste bijzonder eenvoudig. Evenzo, als men de parameter van een Poisson -verdeling Het gebruik van een gamma -prior zal leiden tot een andere gamma -posterior. Conjugaatpriors zijn vaak erg flexibel en kunnen erg handig zijn. Als iemands geloof over de waarschijnlijke waarde van de theta-parameter van een binomiale echter wordt weergegeven door (zeg) een bimodale (twee-hpped) eerdere verdeling, dan kan dit niet worden weergegeven door een bèta-verdeling. Het kan echter worden weergegeven door een mengseldichtheid Als de voorgaande, hier een combinatie van twee bèta -distributies; Dit is een vorm van hyperprior.

Een willekeurige kans zal niet tot een exponentiële familie behoren, en dus in het algemeen bestaat er in het algemeen geen conjugaat prior. De achterste zal dan moeten worden berekend met numerieke methoden.

Om aan te tonen dat de bovenstaande voorafgaande verdeling een geconjugeerde eerder is, kunnen we de posterior afleiden.

Neem eerst aan dat de waarschijnlijkheid van een enkele observatie een exponentiële familie volgt, geparametreerd met behulp van de natuurlijke parameter ervan:

${\ displaystyle p_ {f} (x \ mid {\ boldsymbol {\ eta}}) = h (x) g ({\ boldsymbol {\ eta}}) \ exp \ left ({\ boldsymbol {\ eta}}^^ {\ rm {t}} \ Mathbf {t} (x) \ rechts)}$

Vervolgens voor gegevens ${\ DisplayStyle \ Mathbf {x} = (x_ {1}, \ ldots, x_ {n})}$, de kans wordt als volgt berekend:

${\ displayStyle p (\ mathbf {x} \ mid {\ boldsymbol {\ eta}}) = \ links (\ prod _ {i = 1}^{n} h (x_ {i}) \ rechts) g ({{{{{{{{{{{{{{{ \ boldsymbol {\ eta}})^{n} \ exp \ left ({\ boldsymbol {\ eta}}^{\ rm {t}} \ sum _ {i = 1}^{n} \ mathbf {t} (x_ {i}) \ rechts)}$

Dan, voor de bovenstaande conjugaat vooraf:

${\ displayStyle {\ begin {uitgelijnd} p _ {\ pi} ({\ boldsymbol {\ eta}}} \ mid {\ boldsymbol {\ chi}}, \ nu) & = f ({\ boldsymbol {\ chi}}}}}}, \ nu) g ({\ boldsymbol {\ eta}})^{\ nu} \ exp ({\ boldsymbol {\ eta}}^{\ rm {t}} {\ boldsymbol {\ chi}}}) \ propto go ({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\end{aligned}}}$

We kunnen vervolgens de achterste berekenen als volgt:

${\displaystyle {\begin{aligned}p({\boldsymbol {\eta }}\mid \mathbf {X} ,{\boldsymbol {\chi }},\nu )&\propto p(\mathbf {X} \ Mid {\ boldsymbol {\ eta}}) p _ {\ pi} ({\ boldsymbol {\ eta}} \ mid {\ boldsymbol {\ chi}}, \ nu) \\ & = \ links (\ left _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ {I = 1}^{n} h (x_ {i}) \ rechts) g ({\ boldsymbol {\ eta}})^{n} \ exp \ left ({\ boldsymbol {\ eta}}^{\ rm { T}} \ sum _ {i = 1}^{n} \ mathbf {t} (x_ {i}) \ rechts) f ({\ boldsymbol {\ chi}}, \ nu) g ({\ boldsymbol eta}})^{\ nu} \ exp ({\ boldsymbol {\ eta}}^{\ rm {t}} {\ boldsymbol {\ chi}}}) \\ & \ propto g (\ boldsymbol {\ eta }})^{n} \ exp \ left ({\ boldsymbol {\ eta}}^{\ rm {t}} \ sum _ {i = 1}^{n} \ mathbf {t} (x_ {i} ) \ rechts) g ({\ boldsymbol {\ eta}})^{\ nu} \ exp ({\ boldsymbol {\ eta}}^{\ rm {t}} {\ boldsymbol {\ chi}}}}}}}}}}}}}}}}}}}}}}}) \\ & \ propto g ({\ boldsymbol {\ eta}})^{\ nu +n} \ exp \ left ({\ boldsymbol {\ eta}}^{\ rm {t}} \ left ({\ boldsymbol chi}}+\ sum _ {i = 1}^{n} \ mathbf {t} (x_ {i}) \ rechts) \ rechts) \ end {uitgelijnd}}}$

De laatste regel is de kernel van de achterste verdeling, d.w.z.

${\ displaystyle p ({\ boldsymbol {\ eta}} \ mid \ mathbf {x}, {\ boldsymbol {\ chi}}, \ nu) = p _ {\ pi} \ left ({\ boldsymbol {\ boldsymbol {\ boldsymbol {\ boldsymbol {\ boldsymbol {\ boldsymbol {\ boldsymbol {\ boldsymbol {\ boldsymbol {\ boldsymbol}} \ links | ~ {\ boldsymbol {\ chi}} +\ sum _ {i = 1}^{n} \ mathbf {t} (x_ {i}), \ nu +n \ rechts. \ rechts)}$

Dit laat zien dat de achterste dezelfde vorm heeft als de prior.

De data X komt in deze vergelijking enkel en alleen in de uitdrukking

${\ displayStyle \ Mathbf {t} (\ Mathbf {x}) = \ sum _ {i = 1}^{n} \ Mathbf {t} (x_ {i}),}$

die wordt genoemd voldoende statistiek van de gegevens. Dat wil zeggen dat de waarde van de voldoende statistiek voldoende is om de achterste verdeling volledig te bepalen. De werkelijke gegevenspunten zelf zijn niet nodig en alle sets gegevenspunten met dezelfde voldoende statistiek hebben dezelfde verdeling. Dit is belangrijk omdat de dimensie van de voldoende statistiek niet groeit met de gegevensgrootte - het heeft slechts zoveel componenten als de componenten van ${\ DisplayStyle {\ boldsymbol {\ eta}}}$ (gelijkwaardig, het aantal parameters van de verdeling van een enkel gegevenspunt).

De updatevergelijkingen zijn als volgt:

${\ DisplayStyle {\ begin {uitgelijnd} {\ boldsymbol {\ chi}} '& = {\ boldsymbol {\ chi}}+\ mathbf {t} (\ mathbf {x}) \\ & = {\ boldsymbol {\ {\ boldsymbol {\ {\ boldsymbol {\ {\ boldsymbol {\ {\ boldsymbol {\ {\ boldsymbol {\ {\ boldsymbol {\ {\ boldsymbol {\ {\ boldsymbol {\ {\ boldsymbol is chi}} +\ sum _ {i = 1}^{n} \ mathbf {t} (x_ {i}) \\\ nu '& = \ nu +n \ end {uitgelijnd}}}$

Dit laat zien dat de updatevergelijkingen eenvoudig kunnen worden geschreven in termen van het aantal gegevenspunten en de voldoende statistiek van de gegevens. Dit is duidelijk te zien in de verschillende voorbeelden van updatevergelijkingen die worden getoond in de geconjugeerd prior bladzijde. Vanwege de manier waarop de voldoende statistiek wordt berekend, omvat het noodzakelijkerwijs bedragen van componenten van de gegevens (in sommige gevallen vermomd als producten of andere vormen - kan een product worden geschreven in termen van een som van logaritmen). De gevallen waarin de updatevergelijkingen voor bepaalde distributies niet precies overeenkomen met de bovenstaande formulieren, zijn gevallen waarin de geconjugeerde prior is uitgedrukt met een andere parametrering dan degene die een geconjugeerde prior van de bovenstaande vorm produceert - vaak specifiek omdat de bovenstaande vorm is gedefinieerd over de natuurlijke parameter ${\ DisplayStyle {\ boldsymbol {\ eta}}}$ Terwijl conjugaatpriors meestal worden gedefinieerd over de werkelijke parameter ${\ DisplayStyle {\ boldsymbol {\ theta}}.}$

Hypothesetesten: uniform meest krachtige tests

Een exponentiële familie van één parameter heeft een monotone niet-afnemende waarschijnlijkheidsratio in de voldoende statistiek T(x), op voorwaarde dat η(θ) is niet afleverend. Als gevolg hiervan bestaat er een uniform meest krachtige test voor De hypothese testen H₀: θ ≥ θ₀ VS. H₁: θ < θ₀.

Gegeneraliseerde lineaire modellen

Exponentiële families vormen de basis voor de distributiefuncties die worden gebruikt in Gegeneraliseerde lineaire modellen, een klasse van model die veel van de veelgebruikte regressiemodellen in statistieken omvat.

Zie ook

• Exponentiële dispersiemodel
• Gibbs -maatregel
• Gemodificeerde half-normale verdeling
• Natuurlijke exponentiële familie

Voetnoten

Referenties

Citaten

Bronnen

Verder lezen

• Fahrmeir, Ludwig; Tutz, G. (1994). Multivariate statistische modellering op basis van gegeneraliseerde lineaire modellen. Springer. pp. 18–22, 345–349. ISBN 0-387-94233-5.
• Keener, Robert W. (2006). Theoretische statistieken: onderwerpen voor een kerncursus. Springer. pp. 27–28, 32–33. ISBN 978-0-387-93838-7.
• Lehmann, E. L.; Casella, G. (1998). Theorie van puntschatting (2e ed.). Sec. 1.5. ISBN 0-387-98502-6.

Externe links

• Een primer over de exponentiële familie van distributies
• Exponentiële familie van distributies op de Vroegst bekende toepassingen van enkele van de woorden van wiskunde
• JMEF: Een Java -bibliotheek voor exponentiële gezinnen Gearchiveerd 2013-04-11 om archief.today