Covariantiematrix

A Bivariate Gaussiaanse waarschijnlijkheidsdichtheidsfunctie gecentreerd op (0, 0), met covariantiematrix gegeven door ${\ DisplayStyle {\ begin {bMatrix} 1 & 0.5 \\ 0.5 & 1 \ end {bMatrix}}}$

Voorbeeldpunten van een Bivariate Gaussiaanse verdeling met een standaardafwijking van 3 in ruwweg de rechter richting linksonder en van 1 in de orthogonale richting. Omdat de x en y componenten co-variëren, de varianties van ${\ displaystyle x}$ en ${\ displaystyle y}$ Beschrijf de verdeling niet volledig. EEN ${\ DisplayStyle 2 \ maal 2}$ Covariantiematrix is ​​nodig; De aanwijzingen van de pijlen komen overeen met de eigenvectoren van deze covariantiematrix en hun lengtes tot de vierkante wortels van de eigenwaarden.

In waarschijnlijkheids theorie en statistieken, a covariantiematrix (ook gekend als Auto-covariantiematrix, dispersiematrix, variantiematrix, of variantie -covariantiematrix) is een vierkant Matrix het geven van de covariantie tussen elk paar elementen van een gegeven willekeurige vector. Elk covariantie matrix is symmetrisch en Positief semi-definitief en de belangrijkste diagonaal bevat varianties (d.w.z. de covariantie van elk element met zichzelf).

Intuïtief generaliseert de covariantiematrix het begrip variantie naar meerdere dimensies. Als voorbeeld kan de variatie in een verzameling willekeurige punten in tweedimensionale ruimte niet volledig worden gekenmerkt door een enkel getal, noch zouden de varianties in de ${\ displaystyle x}$ en ${\ displaystyle y}$ aanwijzingen bevatten alle benodigde informatie; a ${\ DisplayStyle 2 \ maal 2}$ Matrix zou nodig zijn om de tweedimensionale variatie volledig te karakteriseren.

De covariantiematrix van een willekeurige vector ${\ DisplayStyle \ Mathbf {x}}$ wordt meestal aangeduid door ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}}}$ of ${\ DisplayStyle \ Sigma}$.

Definitie

Gedurende dit artikel, boldfaced niet -gesubscripteerd ${\ DisplayStyle \ Mathbf {x}}$ en ${\ DisplayStyle \ Mathbf {y}}$ worden gebruikt om te verwijzen naar willekeurige vectoren, en niet -beboldfaced subscript ${\ DisplayStyle x_ {i}}$ en ${\ displaystyle y_ {i}}$ worden gebruikt om te verwijzen naar scalaire willekeurige variabelen.

Als de vermeldingen in de kolomvector

${\ displaystyle \ mathbf {x} = (x_ {1}, x_ {2}, ..., x_ {n})^{\ mathrm {t}}}$

zijn willekeurige variabelen, elk met eindig variantie en verwachte waarde, dan de covariantiematrix ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}}}$ is de matrix wiens ${\ displaystyle (i, j)}$ Inzending is de covariantie^{[1]: p. 177}

${\ DisplayStyle \ OperatorName {k} _ {x_ {i} x_ {j}} = \ OperatorName {cov} [x_ {i}, x_ {j}] = \ operatorName {e} [(x_ {i}-\ operatorName {e} [x_ {i}]) (x_ {j}-\ operatorName {e} [x_ {j}])]}$

waar de operator ${\ DisplayStyle \ OperatorName {e}}$ geeft de verwachte waarde (gemiddelde) van zijn argument aan.

Tegenstrijdige nomenclaturen en notaties

Nomenclatures verschillen. Sommige statistici, volgens de probabilist William Feller In zijn boek met twee volumes Een inleiding tot de waarschijnlijkheidstheorie en de toepassingen ervan,^[2] Bel de matrix ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}}}$ de variantie van de willekeurige vector ${\ DisplayStyle \ Mathbf {x}}$, omdat het de natuurlijke generalisatie is naar hogere dimensies van de 1-dimensionale variantie. Anderen noemen het de covariantiematrix, omdat het de matrix van covarianties is tussen de scalaire componenten van de vector ${\ DisplayStyle \ Mathbf {x}}$.

${\ displayStyle \ OperatorName {var} (\ mathbf {x}) = \ operatorName {cov} (\ mathbf {x}, \ mathbf {x}) = \ operatorName {e} \ left [(\ mathbf {x} - - \ OperatorName {e} [\ Mathbf {x}]) (\ Mathbf {x} -\ OperatorName {e} [\ Mathbf {x}])^{\ rm {t}} \ right].}$

Beide vormen zijn vrij standaard en er is geen dubbelzinnigheid tussen hen. De matrix ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}}}$ wordt ook vaak de variantie-covariantiematrix, omdat de diagonale termen in feite varianties zijn.

Ter vergelijking, de notatie voor de Cross-covariantiematrix tussen Twee vectoren is

${\ DisplayStyle \ OperatorName {cov} (\ Mathbf {x}, \ Mathbf {y}) = \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {y}} = \ Operatorname {e} \ left [(( \ mathbf {x} -\ operatorName {e} [\ mathbf {x}]) (\ mathbf {y} -\ operatorName {e} [\ mathbf {y}])^{\ rm {t}} \ right] .}$

Eigendommen

Relatie met de autocorrelatiematrix

De auto-covariantiematrix ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}}}$ is gerelateerd aan de autocorrelatiematrix ${\ DisplayStyle \ OperatorName {r} _ {\ Mathbf {x} \ Mathbf {x}}}$ door

${\ DisplayStyle \ OperatorName {K} _ {\ Mathbf {x} \ Mathbf {x}} = \ OperatorName {e} [(\ Mathbf {x} -\ OperatorName {e} [\ Mathbf {x}]) (\ \ \ \ \ {x}]) (\ MATHBF {x} -\ OperatorName {e} [\ Mathbf {x}])^{\ rm {t}}] = \ OperatorName {r} _ {\ Mathbf {x} \ Mathbf {x}} -\ \ operatorname {\ operatorame {\ \ operatorame {\ \ operatorame {\ operatorname {\ oeratorname {\ \ oeratorname {\ \ oeratorname {\ \ oeratorname {\ \ oeratorname {\ oeratorname {\ oeratorname {\ oeratorname {\ oeratorname {\ oeratorname {\ \ {\ oeratorname {\ \ \ {\ oeratorname {\} E} [\ mathbf {x}] \ operatorName {e} [\ mathbf {x}]^{\ rm {t}}}$

waarbij de autocorrelatiematrix wordt gedefinieerd als ${\ DisplayStyle \ OperatorName {r} _ {\ Mathbf {x} \ Mathbf {x}} = \ OperatorName {e} [\ Mathbf {x} \ Mathbf {x} ^{\ rm {t}}]}}$.

Relatie tot de correlatiematrix

Een entiteit die nauw verwant is aan de covariantiematrix is ​​de matrix van Pearson product-moment correlatiecoëfficiënten tussen elk van de willekeurige variabelen in de willekeurige vector ${\ DisplayStyle \ Mathbf {x}}$, die kan worden geschreven als

${\ DisplayStyle \ OperatorName {Corr} (\ Mathbf {x}) = {\ big (} \ OperatorName {Diag} (\ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}}}}) {\ big) {\ big) {\ big) {\ big) {\ big) }^{-{\ frac {1} {2}}} \, \ OperatorName {k} _ {\ mathbf {x} \ mathbf {x}} \, {\ big (} \ operatorName {diag} (\ operatornameame {K} _ {\ mathbf {x} \ mathbf {x}}) {\ big)}^{-{\ frac {1} {2}}},}$

waar ${\ DisplayStyle \ OperatorName {Diag} (\ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}})}$ is de matrix van de diagonale elementen van ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}}}$ (d.w.z. een diagonale matrix van de varianties van ${\ DisplayStyle x_ {i}}$ voor ${\ displaystyle i = 1, \ dots, n}$).

Gelijkwaardig, de correlatiematrix kan worden gezien als de covariantiematrix van de gestandaardiseerde willekeurige variabelen ${\ displaystyle x_ {i}/\ sigma (x_ {i})}$ voor ${\ displaystyle i = 1, \ dots, n}$.

${\ DisplayStyle \ OperatorName {Corr} (\ Mathbf {x}) = {\ begin {BMatrix} 1 & {\ frac {\ OperatorName {e} [(x_ {1}-\ mu _ _ _ _ {1}) (x_ {2 }-\ mu _ _ {2})]} {\ sigma (x_ {1}) \ sigma (x_ {2})}} & \ cdots & {\ frac {\ operatorname {e} [(x_ {1}- \mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\ operatorName {e} [(x_ {2}-\ mu _ {2}) (x_ {1}-\ mu _ {1})]} {\ sigma (x_ {2}) \ sigma (x_ {1}) }} & 1 & \ cdots & {\ frac {\ operatorName {e} [(x_ {2}-\ mu _ {2}) (x_ {n}-\ mu _ {n})]} {\ sigma (x_ { 2}) \ sigma (x_ {n})}}} \\\\\ vdots & \ vdots & \ ddots & \ vdots \\\\ {\ frac {\ operatorName {e} [(x_ {n}-\ mu _ {n}) (x_ {1}-\ mu _ _ {1})]}} {\ sigma (x_ {n}) \ sigma (x_ {1})}} & {\ frac {\ operatorname {e} [ ) & 1 \ end {bMatrix}}.}$

Elk element op de hoofddiagonaal van een correlatiematrix is ​​de correlatie van een willekeurige variabele met zichzelf, die altijd gelijk is aan 1. elk off-diagonaal element ligt tussen −1 en +1 inclusief.

Omgekeerde van de covariantiematrix

De omgekeerde van deze matrix, ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}}^{-1}}$, als het bestaat, is de omgekeerde covariantiematrix (of omgekeerde concentratiematrix), ook bekend als de precisiematrix (of concentratiematrix).^[3]

Basiseigenschappen

Voor ${\displaystyle \operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X } -\ operatorName {e} [\ mathbf {x}] \ rechts) \ left (\ mathbf {x} -\ operatorName {e} [\ mathbf {x}] \ rechts)^{\ rm {t}} \ Rechtsaf]}$ en ${\ displayStyle \ Mathbf {\ mu _ _ {x}} = \ operatorName {e} [{\ textBf {x}}]}$, waar ${\ displaystyle \ mathbf {x} = (x_ {1}, \ ldots, x_ {n})^{\ rm {t}}}$ is een ${\ displaystyle n}$-Dimensionale willekeurige variabele, de volgende basiseigenschappen zijn van toepassing:^[4]

1. ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}} = \ OperatorName {e} (\ Mathbf {xx^{\ rm {t}}})-\ Mathbf {\ mUi {\ mevrouw {\ mevrouw {\ mevrouw {\ Mathbf {\ Mathbf {\ Mathbf {\ Mathbf {\ MATHBF X}} \ Mathbf {\ mu _ {x}} ^{\ rm {t}}}$
2. ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}} \,}$ is positief-semidefiniet, d.w.z. ${\ DisplayStyle \ Mathbf {A} ^{T} \ OperatorName {K} _ {\ Mathbf {x} \ Mathbf {X}} \ Mathbf {A} \ Geq 0 \ Quad {\ Text {For All}} \ Tekst {a} \ in \ Mathbb {r} ^{n}}$
3. ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}} \,}$ is symmetrisch, d.w.z. ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {x} \ Mathbf {x}}^{\ rm {t}} = \ OperatorName {k} _ {\ mathbf {x} \ mathbf}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$
4. Voor elke constante (d.w.z. niet-willekeurige) ${\ displaystyle m \ maal n}$ Matrix ${\ DisplayStyle \ Mathbf {A}}$ en constant ${\ displaystyle m \ maal 1}$ vector ${\ DisplayStyle \ Mathbf {A}}$, men heeft ${\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A} ^{ \ rm {t}}}$
5. Als ${\ DisplayStyle \ Mathbf {y}}$ is een andere willekeurige vector met dezelfde dimensie als ${\ DisplayStyle \ Mathbf {x}}$, dan ${\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf { Y})+\ operatorName {cov} (\ mathbf {y}, \ mathbf {x})+\ operatorName {var} (\ mathbf {y})}$ waar ${\ DisplayStyle \ OperatorName {cov} (\ Mathbf {x}, \ Mathbf {y})}$ is de Cross-covariantiematrix van ${\ DisplayStyle \ Mathbf {x}}$ en ${\ DisplayStyle \ Mathbf {y}}$.

Blokmatrices

Het gewrichtsgemiddelde ${\ DisplayStyle \ Mathbf {\ mu}}$ en gezamenlijke covariantiematrix ${\ DisplayStyle \ Mathbf {\ Sigma}}$ van ${\ DisplayStyle \ Mathbf {x}}$ en ${\ DisplayStyle \ Mathbf {y}}$ Kan in blokvorm worden geschreven

${\ DisplayStyle \ Mathbf {\ mu} = {\ begin {BMatrix} \ Mathbf {\ mu _ {x}}}} \\\ Mathbf {\ mu _ {y}} \ end {bMatrix}}, \ qquad \ qquad \ mathbf {mathbf \ mathbf {mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf \ mathbf {qquad} \Sigma } ={\begin{bmatrix}\operatorname {K} _{\mathbf {XX} }&\operatorname {K} _{\mathbf {XY} }\\\operatorname {K} _{\mathbf {YX }} & \ operatorName {k} _ {\ mathbf {yy}} \ end {bMatrix}}}$

waar ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {xx}} = \ OperatorName {var} (\ Mathbf {x})}$, ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {yy}} = \ OperatorName {var} (\ Mathbf {y})}}$ en ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {xy}} = \ OperatorName {k} _ {\ Mathbf {yx}}^{\ rm {t}} = \ Operatorname {cov} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} (\ mathbf} , \ mathbf {y})}$.

${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {xx}}}$ en ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {yy}}}$ kan worden geïdentificeerd als de variantiematrices van de marginale distributies voor ${\ DisplayStyle \ Mathbf {x}}$ en ${\ DisplayStyle \ Mathbf {y}}$ respectievelijk.

Als ${\ DisplayStyle \ Mathbf {x}}$ en ${\ DisplayStyle \ Mathbf {y}}$ zijn gezamenlijk normaal verdeeld,,

${\ DisplayStyle \ Mathbf {x}, \ Mathbf {y} \ Sim \ {\ Mathcal {n}} (\ Mathbf {\ mu}, \ operatorName {\ Mathbf {\ sigma}}),},}$

dan de voorwaardelijke verdeling voor ${\ DisplayStyle \ Mathbf {y}}$ gegeven ${\ DisplayStyle \ Mathbf {x}}$ is gegeven door

${\ displayStyle \ Mathbf {y} \ Mid \ Mathbf {x} \ Sim \ {\ Mathcal {n}} (\ Mathbf {\ mu _ {y | x}}, \ operatorname {k} _ {y \ mathbf {y \ {y \ mathbf {y \ {y \ mathbf {y \ {y \ mathbf {y \ {y mathbf {y \ {y mathbf {y \ {y \ mathbf {y \ {y \ mathbf {y \ {y mathbf {y | X}}),}$^[5]

gedefinieerd door Voorwaardelijk gemiddelde

${\ DisplayStyle \ Mathbf {\ mu _ {y | x}} = \ Mathbf {\ mu _ _ {y}} +\ operatorName {k} _ {\ mathbf {yx}} \ operatorName {k} _ _ {\ mathbf {\ mathbf {\ mathbf {\ mathbf {\ mathbf {\ mathbf {\ mathbf {\ {\ mathbf {\ {\ mathbf {\ {\ mathbf {\ {\ mathbf {\ {\ mathbf {\ {\ mathbf {\ {\ mathbf {\ {\ mathbf {\ {k Xx}}^{ -1} \ left (\ mathbf {x} -\ mathbf {\ mu _ _ {x}} \ rechts)}$

en Voorwaardelijke variantie

${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {y | x}} = \ OperatorName {k} _ {\ Mathbf {yy}}-\ OperatorName {k} _ {\ Mathbf {yx}} \ oeratorName {k } _ {\ mathbf {xx}}^{-1} \ operatorName {k} _ {\ mathbf {xy}}.}.$

De matrix ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {yx}} \ OperatorName {k} _ {\ mathbf {xx}}^{-1}}$ staat bekend als de matrix van regressie coëfficiënten, terwijl in lineaire algebra ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {y | x}}}$ is de Schur complement van ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {xx}}}$ in ${\ DisplayStyle \ Mathbf {\ Sigma}}$.

De matrix van regressiecoëfficiënten kan vaak worden gegeven in transponering, ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {xx}}^{-1} \ OperatorName {k} _ {\ Mathbf {xy}}}$, geschikt voor het post-multiply van een rijvector van verklarende variabelen ${\ DisplayStyle \ Mathbf {x} ^{\ rm {t}}}$ in plaats van een kolomvector vooraf te maken ${\ DisplayStyle \ Mathbf {x}}$. In deze vorm komen ze overeen met de coëfficiënten die zijn verkregen door de matrix van de normale vergelijkingen van gewone kleinste vierkanten (OLS).

Gedeeltelijke covariantiematrix

Een covariantiematrix met alle niet-nul elementen vertelt ons dat alle individuele willekeurige variabelen met elkaar verbonden zijn. Dit betekent dat de variabelen niet alleen direct gecorreleerd zijn, maar ook indirect via andere variabelen worden gecorreleerd. Vaak zo'n indirecte, gebruikelijke modus Correlaties zijn triviaal en oninteressant. Ze kunnen worden onderdrukt door de gedeeltelijke covariantiematrix te berekenen, dat is het deel van de covariantiematrix dat alleen het interessante deel van de correlaties toont.

Als twee vectoren van willekeurige variabelen ${\ DisplayStyle \ Mathbf {x}}$ en ${\ DisplayStyle \ Mathbf {y}}$ zijn gecorreleerd via een andere vector ${\ DisplayStyle \ Mathbf {i}}$, de laatste correlaties worden onderdrukt in een matrix^[6]

${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {xy \ mid i}} = \ OperatorName {pcov} (\ Mathbf {x}, \ Mathbf {y} \ Mathbf {i}) = \ operatorname {coveren {cov {cov oeratorname {coveren } (\ mathbf {x}, \ mathbf {y})-\ operatorName {cov} (\ mathbf {x}, \ mathbf {i}) \ operatorName {cov} (\ mathbf {i}, \ mathbf {i} )^{-1} \ OperatorName {cov} (\ Mathbf {i}, \ Mathbf {y}).}$

De gedeeltelijke covariantiematrix ${\ DisplayStyle \ OperatorName {K} _ {\ Mathbf {Xy \ Mid I}}}$ is effectief de eenvoudige covariantiematrix ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {xy}}}$ alsof de oninteressante willekeurige variabelen ${\ DisplayStyle \ Mathbf {i}}$ werden constant gehouden.

Covariantiematrix als parameter van een verdeling

Als een kolomvector ${\ DisplayStyle \ Mathbf {x}}$ van ${\ displaystyle n}$ mogelijk gecorreleerde willekeurige variabelen is gezamenlijk normaal verdeeld, of meer in het algemeen elliptisch gedistribueerd, dan zijn waarschijnlijkheidsdichtheidsfunctie ${\ DisplayStyle \ OperatorName {f} (\ Mathbf {x})}$ kan worden uitgedrukt in termen van de covariantiematrix ${\ DisplayStyle \ Mathbf {\ Sigma}}$ als volgt^[6]

${\ displayStyle \ OperatorName {f} (\ Mathbf {x}) = (2 \ pi)^{-n/2} | \ Mathbf {\ sigma} |^{-1/2} \ exp \ left (-{ \ tfrac {1} {2}} \ mathbf {(x- \ mu) ^{\ rm {t}} \ sigma ^{-1} (x- \ mu)} \ rechts),}$

waar ${\ DisplayStyle \ Mathbf {\ mu = \ OperatorName {e} [x]}}$ en ${\ DisplayStyle | \ Mathbf {\ Sigma} |}$ is de bepalend van ${\ DisplayStyle \ Mathbf {\ Sigma}}$.

Covariantiematrix als lineaire operator

Toegepast op één vector, geeft de covariantiematrix een lineaire combinatie toe c van de willekeurige variabelen X op een vector van covarianties met die variabelen: ${\ DisplayStyle \ Mathbf {c} ^{\ rm {t}} \ sigma = \ OperatorName {cov} (\ Mathbf {c} ^{\ rm {t}} \ Mathbf {x}, \ mathbf {x}) }$. Behandeld als een bilineaire vorm, het levert de covariantie tussen de twee lineaire combinaties op: ${\ DisplayStyle \ Mathbf {d} ^{\ rm {t}} \ sigma \ mathbf {c} = \ operatorName {cov} (\ mathbf {d} ^{\ rm {t}} \ mathbf {x}, \ \ \ mathbf Mathbf {c} ^{\ rm {t}} \ mathbf {x})}$. De variantie van een lineaire combinatie is dan ${\ DisplayStyle \ Mathbf {c} ^{\ rm {t}} \ sigma \ mathbf {c}}$, zijn covariantie met zichzelf.

Evenzo biedt de (pseudo-) omgekeerde covariantiematrix een innerlijk product ${\ DisplayStyle \ Langle C- \ mu | \ Sigma ^{+} | C- \ mu \ rangle}$, die de Mahalanobis -afstand, een maat voor het "onwaarschijnlijkheid" van c.

Welke matrices zijn covariantiematrices?

Laat uit de identiteit net boven, laat ${\ DisplayStyle \ Mathbf {b}}$ wees een ${\ displaystyle (p \ maal 1)}$ reële waarde vector

${\ DisplayStyle \ OperatorName {var} (\ Mathbf {b} ^{\ rm {t}} \ mathbf {x}) = \ mathbf {b} ^{\ rm {t}} \ operatorname {var} (\ mathbf {X}) \ Mathbf {b}, \,}$

die altijd niet negatief moeten zijn, omdat het de variantie van een reële gewaardeerde willekeurige variabele, dus een covariantiematrix is ​​altijd een positief-semidefinietmatrix.

Het bovenstaande argument kan als volgt worden uitgebreid:

$${\displaystyle {\begin{aligned}&w^{\rm {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf { X} -\ operatorName {e} [\ mathbf {x}])^{\ rm {t}} \ rechts] w = \ operatorName {e} \ links [w^{\ rm {t}} (\ mathbf { X} -\ operatorName {e} [\ Mathbf {x}]) (\ Mathbf {x} -\ OperatorName {e} [\ Mathbf {x}])^{\ rm {t}} w \ rechts] \\ & = \ OperatorName {e} {\ big [} {\ big (} w^{\ rm {t}} (\ mathbf {x} -\ operatorName {e} [\ mathbf {x}]) {\ big) {\ big) {\ big) }^{2} {\ big]} \ geq 0, \ end {uitgelijnd}}}$$

${\ displayStyle w^{\ rm {t}} (\ mathbf {x} -\ operatorName {e} [\ mathbf {x}])}$

Omgekeerd is elke symmetrische positieve semi-definitieve matrix een covariantiematrix. Stel dit om dit te zien ${\ displaystyle m}$ is een ${\ displaystyle p \ maal p}$ Symmetrische positief-semidefinietmatrix. Van het eindige-dimensionale geval van de spectrale stelling, het volgt dat ${\ displaystyle m}$ heeft een niet -negatieve symmetrische vierkantswortel, die kan worden aangegeven door M^1/2. Laten ${\ DisplayStyle \ Mathbf {x}}$ iets zijn ${\ displaystyle p \ maal 1}$ kolom vector gewaardeerde willekeurige variabele waarvan de covariantiematrix de ${\ displaystyle p \ maal p}$ identiteitsmatrix. Dan

${\ displayStyle \ OperatorName {var} (\ mathbf {m} ^{1/2} \ mathbf {x}) = \ mathbf {m} ^{1/2} \, \ operatorName {var} (\ mathbf {x }) \, \ Mathbf {m} ^{1/2} = \ Mathbf {m}.}$

Complexe willekeurige vectoren

De variantie van een complex scalair gewaardeerd Willekeurige variabele met de verwachte waarde ${\ DisplayStyle \ mu}$ is conventioneel gedefinieerd met behulp van Complexe vervoeging:

${\ DisplayStyle \ OperatorName {var} (z) = \ OperatorName {e} \ links [(z- \ mu _ {z}) {\ overline {(z- \ mu _ {z})}}} \ rechter], }$

waarbij het complexe conjugaat van een complex getal ${\ DisplayStyle Z}$ wordt aangeduid ${\ DisplayStyle {\ Overline {Z}}}$; De variantie van een complexe willekeurige variabele is dus een reëel getal.

Als ${\ displaystyle \ mathbf {z} = (z_ {1}, \ ldots, z_ {n})^{\ mathrm {t}}}$ is een kolomvector van complex gewaardeerde willekeurige variabelen, vervolgens de conjugaat transponeren ${\ DisplayStyle \ Mathbf {z} ^{\ Mathrm {H}}}$ wordt gevormd door beide Transponeren en conjugeren. In de volgende uitdrukking resulteert het product van een vector met zijn geconjugeerde transponering in een vierkante matrix genaamd de covariantiematrix, als verwachting:^{[7]: p. 293}

${\ DisplayStyle \ OperatorName {K} _ {\ Mathbf {Z} \ Mathbf {Z}} = \ OperatorName {cov} [\ Mathbf {Z}, \ Mathbf {Z}] = \ Operatorname {e} \ left [(( \ mathbf {z} -\ mathbf {\ mu _ {z}}) (\ mathbf {z} -\ mathbf {\ mu _ _ {z}})^{\ mathrm {h}} \ rechter]}$,

De aldus verkregen matrix zal zijn Hermitiaans positief-semidefiniet,^[8] met reële getallen in de belangrijkste diagonale en complexe nummers off-diagonaal.

Eigendommen

• De covariantiematrix is ​​een Hermitiaanse matrix, d.w.z. ${\ DisplayStyle \ OperatorName {k} _ {\ Mathbf {z} \ Mathbf {z}}^{\ Mathrm {H}} = \ OperatorName {k} _ {\ Mathbf {z} \ Mathbf {z}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$.^{[1]: p. 179}
• De diagonale elementen van de covariantiematrix zijn echt.^{[1]: p. 179}

Pseudo-covariantiematrix

Voor complexe willekeurige vectoren, een ander soort tweede centraal moment, de pseudo-covariantiematrix (ook wel genoemd relatiematrix) wordt als volgt gedefinieerd:

${\displaystyle \operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname { E} \ links [(\ mathbf {z} -\ mathbf {\ mu _ _ {z}}) (\ mathbf {z} -\ mathbf {\ mu _ {z}})^{\ mathrm {t}} \ Rechtsaf]}$

In tegenstelling tot de hierboven gedefinieerde covariantiematrix, wordt Hermitiaanse transpositie vervangen door transpositie in de definitie. De diagonale elementen kunnen complex worden gewaardeerd; het is een Complexe symmetrische matrix.

Schatting

Als ${\ DisplayStyle \ Mathbf {M} _ {\ Mathbf {x}}}$ en ${\ DisplayStyle \ Mathbf {M} _ {\ Mathbf {y}}}$ zijn gecentreerd Gegevensmatrices dimensie ${\ displaystyle p \ maal n}$ en ${\ displaystyle q \ maal n}$ respectievelijk, d.w.z. met n kolommen van observaties van p en q Rijen van variabelen, van waaruit de rijmiddelen zijn afgetrokken, dan, als de rijmiddelen werden geschat op basis van de gegevens, steekproefcovariantiematrices ${\ DisplayStyle \ Mathbf {q} _ {\ Mathbf {xx}}}$ en ${\ DisplayStyle \ Mathbf {q} _ {\ Mathbf {xy}}}$ kan worden gedefinieerd

${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\ Mathbf {x}}^{\ rm {t}}, \ qquad \ mathbf {q} _ {\ mathbf {xy}} = {\ frac {1} {n-1}} \ mathbf {m} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ io niet Mathbf {x}} \ Mathbf {m} _ {\ Mathbf {y}}^{\ rm {t}}}$

of, als de rij -middelen a priori bekend waren,

${\displaystyle \mathbf {Q} _{\mathbf {XX} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf { X}}^{\ rm {t}}, \ qquad \ mathbf {q} _ {\ mathbf {xy}} = {\ frac {1} {n}} \ mathbf {m} _ {\ mathbf {x} } \ mathbf {m} _ {\ mathbf {y}}^{\ rm {t}}.}$

Deze empirische steekproefcovariantiematrices zijn de meest eenvoudige en meestal gebruikte schatters voor de covariantiematrices, maar er bestaan ​​ook andere schatters, waaronder geregulariseerde of krimpschatters, die mogelijk betere eigenschappen hebben.

Toepassingen

De covariantiematrix is ​​een nuttig hulpmiddel in veel verschillende gebieden. Daaruit een transformatiematrix kan worden afgeleid, een Whitening -transformatie, waarmee men de gegevens volledig kan decorreleren of, vanuit een ander oogpunt, een optimale basis te vinden voor het weergeven van de gegevens op een compacte manier (zie Rayleigh quotiënt voor een formeel bewijs en aanvullende eigenschappen van covariantiematrices). Dit heet Hoofdcomponentanalyse (PCA) en de Karhunen - Loève Transform (KL-Transform).

De covariantiematrix speelt een sleutelrol in financiële economie, met name in portfoliotheorie en zijn onderlinge scheidende stelling van het fonds en in de Capital Asset Pricing Model. De matrix van covarianties tussen het rendement van verschillende activa wordt gebruikt om, onder bepaalde veronderstellingen, de relatieve hoeveelheden verschillende activa te bepalen die beleggers zouden moeten (in een normatieve analyse) of worden voorspeld (in een positieve analyse) Kies ervoor om vast te houden in een context van diversificatie.

Gebruik in optimalisatie

De evolutietrategie, een bepaalde familie van gerandomiseerde zoekheuristieken, vertrouwt fundamenteel op een covariantiematrix in zijn mechanisme. De karakteristieke mutatie -operator haalt de updatestap uit een multivariate normale verdeling met behulp van een evoluerende covariantiematrix. Er is een formeel bewijs dat het evolutietrategie's covariantiematrix past zich aan het omgekeerde van de Hessiaanse matrix van het zoeklandschap, tot Een scalaire factor en kleine willekeurige schommelingen (bewezen voor een eenouderstrategie en een statisch model, naarmate de populatiegrootte toeneemt, afhankelijk van de kwadratische benadering).^[9] Intuïtief wordt dit resultaat ondersteund door de reden dat de optimale covariantieverdeling mutatiestappen kan bieden waarvan de evenwichtscontouren overeenkomen met de niveausets van het landschap, en daarom maximaliseren ze het voortgangspercentage.

Covariantie mapping

In covariantie mapping de waarden van de ${\ DisplayStyle \ OperatorName {cov} (\ Mathbf {x}, \ Mathbf {y})}$ of ${\ DisplayStyle \ OperatorName {Pcov} (\ Mathbf {x}, \ Mathbf {y} \ Mid \ Mathbf {i})}}$ Matrix wordt uitgezet als een tweedimensionale kaart. Wanneer vectoren ${\ DisplayStyle \ Mathbf {x}}$ en ${\ DisplayStyle \ Mathbf {y}}$ zijn discreet Willekeurige functies, de kaart toont statistische relaties tussen verschillende regio's van de willekeurige functies. Statistisch onafhankelijke regio's van de functies verschijnen op de kaart als flatland op nulniveau, terwijl positieve of negatieve correlaties respectievelijk verschijnen als heuvels of valleien.

In de praktijk de kolomvectoren ${\ DisplayStyle \ Mathbf {x}, \ Mathbf {y}}$, en ${\ DisplayStyle \ Mathbf {i}}$ worden experimenteel verworven als rijen van ${\ displaystyle n}$ monsters, b.v.

${\ displayStyle [\ mathbf {x} _ {1}, \ mathbf {x} _ {2}, ... \ mathbf {x} _ {n}] = {\ begin {bMatrix} x_ {1} (t_ {1}) & x_ {2} (t_ {1}) & \ cdots & x_ {n} (t_ {1}) \\\\ x_ {1} (t_ {2}) & x_ {2} (t_ {2} ) & \ cdots & x_ {n} (t_ {2}) \\\\\\ vdots & \ vdots & \ ddots & \ vdots \\\\\ x_ {1} (t_ {m}) & x_ {2} (t_ {t_ { m}) & \ cdots & x_ {n} (t_ {m}) \ end {bMatrix}},}$

waar ${\ displaystyle x_ {j} (t_ {i})}$ is de i-De discrete waarde in het voorbeeld j van de willekeurige functie ${\ displaystyle x (t)}$. De verwachte waarden die nodig zijn in de covariantieformule worden geschat met behulp van de monstergemiddelde, b.v.

${\ DisplayStyle \ Langle \ Mathbf {x} \ rangle = {\ frac {1} {n}} \ sum _ {j = 1}^{n} \ mathbf {x} _ {j}}$

en de covariantiematrix wordt geschat door de Proef covariantie Matrix

${\ DisplayStyle \ OperatorName {cov} (\ Mathbf {x}, \ Mathbf {y}) \ cault \ langle \ mathbf {xy^{\ rm {t}}}} \ Rangle -\ langle \ mathbf {x} \ Rangle \ Langle \ Mathbf {y} ^{\ rm {t}} \ Rangle,}$

waarbij de hoekbeugels het gemiddelde van de steekproef aangeven zoals voorheen behalve dat de Bessel's correctie moet worden gemaakt om te vermijden vooroordeel. Met behulp van deze schatting kan de gedeeltelijke covariantiematrix worden berekend als

${\ DisplayStyle \ OperatorName {PCOV} (\ Mathbf {x}, \ Mathbf {y} \ Mid \ Mathbf {i}) = \ OperatorName {cov} (\ Mathbf {x}, \ Mathbf {y})-\ OperatorName {cov} (\ mathbf {x}, \ mathbf {i}) \ left (\ operatorName {cov} (\ mathbf {i}, \ mathbf {i}) \ backslash \ operatorname {\ mathbf {i} , \ mathbf {y}) \ rechts),}$

waar de backslash de linker matrixdivisie Operator, die de vereiste om een ​​matrix om te keren omzeilen en beschikbaar is in sommige rekenpakketten zoals zoals Matlab.^[10]

Figuur 1: Constructie van een gedeeltelijke covariantiekaart van n₂ Moleculen die Coulomb-explosie ondergaan, geïnduceerd door een vrije-elektronenlaser.^[11] Panelen a en b Breng de twee termen van de covariantiematrix in kaart, die in paneel wordt weergegeven c. Paneel d kaarten gemeenschappelijke moduscorrelaties via intensiteitsschommelingen van de laser. Paneel e kent de gedeeltelijke covariantiematrix in kaart die wordt gecorrigeerd voor de intensiteitsschommelingen. Paneel f laat zien dat 10% overcorrectie de kaart verbetert en ion-ionen correlaties duidelijk zichtbaar maakt. Vanwege het momentumbehoud verschijnen deze correlaties als lijnen die ongeveer loodrecht op de autocorrelatielijn (en voor de periodieke modulaties die worden veroorzaakt door het rinkelen van de detector).

Fig. 1 illustreert hoe een gedeeltelijke covariantiekaart is geconstrueerd op een voorbeeld van een experiment dat wordt uitgevoerd op de FLASH vrije-elektronenlaser in Hamburg.^[11] De willekeurige functie ${\ displaystyle x (t)}$ is de vliegtijd spectrum van ionen uit een Coulomb -explosie van stikstofmoleculen vermenigvuldigd geïoniseerd met een laserpuls. Omdat slechts enkele honderden moleculen bij elke laserpuls worden geïoniseerd, zijn de single-shot spectra zeer fluctuerend. Typisch verzamelen ${\ displaystyle m = 10^{4}}$ Dergelijke spectra, ${\ DisplayStyle \ Mathbf {x} _ {j} (t)}$, en gemiddeld ze over ${\ displaystyle j}$ produceert een soepel spectrum ${\ DisplayStyle \ Langle \ Mathbf {x} (T) \ Rangle}$, die in rood wordt getoond onderaan Fig. 1. Het gemiddelde spectrum ${\ DisplayStyle \ Langle \ Mathbf {X} \ Rangle}$ onthult verschillende stikstofionen in een vorm van pieken die worden verbreed door hun kinetische energie, maar om de correlaties tussen de ionisatiestadia te vinden en de ionenmomenta vereist het berekenen van een covariantiekaart.

In het voorbeeld van figuur 1 spectra ${\ DisplayStyle \ Mathbf {x} _ {j} (t)}$ en ${\ DisplayStyle \ Mathbf {y} _ {j} (t)}$ zijn hetzelfde, behalve dat het bereik van het tijdstip van de vlucht ${\ displaystyle t}$ verschilt. Paneel a shows ${\ DisplayStyle \ Langle \ Mathbf {xy^{\ rm {t}}} \ rangle}$, paneel b shows ${\ DisplayStyle \ Langle \ Mathbf {X} \ Rangle \ Langle \ Mathbf {y^{\ rm {T}}} \ Rangle}$ en paneel c toont hun verschil, dat is ${\ DisplayStyle \ OperatorName {cov} (\ Mathbf {x}, \ Mathbf {y})}$ (Let op een verandering in de kleurschaal). Helaas wordt deze kaart overweldigd door oninteressante, gemeenschappelijke moduscorrelaties veroorzaakt door laserintensiteit die fluctueert van schot naar schot. Om dergelijke correlaties de laserintensiteit te onderdrukken ${\ DisplayStyle I_ {J}}$ wordt opgenomen bij elke schot, in plaats van ${\ DisplayStyle \ Mathbf {i}}$ en ${\ DisplayStyle \ OperatorName {Pcov} (\ Mathbf {x}, \ Mathbf {y} \ Mid \ Mathbf {i})}}$ wordt berekend als panelen d en e show. De onderdrukking van de niet-interesterende correlaties is echter onvolmaakt omdat er andere bronnen van gewone-modusfluctuaties zijn dan de laserintensiteit en in principe moeten al deze bronnen in vector worden gecontroleerd ${\ DisplayStyle \ Mathbf {i}}$. Toch is het in de praktijk vaak voldoende om de gedeeltelijke covariantiecorrectie als paneel te overschrijden f Shows, waar interessante correlaties van ionenmomenta nu duidelijk zichtbaar zijn als rechte lijnen gecentreerd op ionisatiestadia van atomaire stikstof.

Tweedimensionale infraroodspectroscopie

Tweedimensionale infraroodspectroscopie gebruikt correlatie analyse om 2D -spectra van de gecondenseerde fase. Er zijn twee versies van deze analyse: synchroon en asynchroon. Wiskundig wordt de eerste uitgedrukt in termen van de steekproefcovariantiematrix en de techniek is gelijk aan covariantiemapping.^[12]

Zie ook

• Covariantiefunctie
• Multivariate statistieken
• Lewandowski-Kurowicka-Joe-verdeling
• Gramische matrix
• Eigenwaarde ontleding
• Kwadratische vorm (statistieken)
• Hoofdcomponenten

Referenties

Verder lezen

• "Covariantiematrix", Encyclopedie van wiskunde, EMS Press, 2001 [1994]
• "Covariantiematrix uitgelegd met foto's", Een gemakkelijke manier om covariantiematrices te visualiseren!
• Weisstein, Eric W. "Covariantiematrix". Wiskunde.
• Van Kampen, N. G. (1981). Stochastische processen in de natuurkunde en chemie. New York: Noord-Holland. ISBN 0-444-86200-5.