Hoofdcomponentanalyse

Principal Component Analysis (PCA) is een populaire techniek voor het analyseren van grote datasets die een groot aantal dimensies/kenmerken per observatie bevatten, het vergroten van de interpreteerbaarheid van gegevens met behoud van de maximale hoeveelheid informatie en het mogelijk maken van de visualisatie van multidimensionale gegevens. Formeel is PCA een statistische techniek voor het verminderen van de dimensionaliteit van een gegevensset. Dit wordt bereikt door de gegevens lineair te transformeren in een nieuwe coördinatie systeem waar (het meeste) de variatie in de gegevens kan worden beschreven met minder dimensies dan de initiële gegevens. Veel studies gebruiken de eerste twee hoofdcomponenten om de gegevens in twee dimensies te plotten en om clusters van nauw verwante gegevenspunten visueel te identificeren. Principale componentanalyse heeft toepassingen op veel gebieden zoals populatiegenetica, microbioomstudies, atmosferische wetenschap etc. ^[1]

PCA van een multivariate Gaussiaanse verdeling gecentreerd op (1,3) met een standaardafwijking van 3 in ruwweg de (0,866, 0,5) richting en van 1 in de orthogonale richting. De getoonde vectoren zijn de eigenvectoren van de covariantiematrix Geschaald door de vierkante wortel van de overeenkomstige eigenwaarde en verschoven zodat hun staarten in het gemiddelde zijn.

De hoofdcomponenten van een verzameling punten in een Echte coördinaatruimte zijn een volgorde van ${\ displaystyle p}$ eenheidsvectoren, waar de ${\ displaystyle i}$-th vector is de richting van een lijn die het beste bij de gegevens past terwijl ze zijn orthogonaal tot de eerste ${\ DisplayStyle I-1}$ vectoren. Hier wordt een best passende lijn gedefinieerd als een die het gemiddelde kwadraat minimaliseert loodrecht Afstand van de punten naar de lijn. Deze aanwijzingen vormen een orthonormale basis waarin verschillende individuele dimensies van de gegevens zijn lineair niet gecorreleerd. Hoofdcomponentanalyse (PCA) is het proces van het berekenen van de belangrijkste componenten en het gebruik ervan om een ​​uit te voeren Verandering van basis Over de gegevens, soms met behulp van alleen de eerste paar hoofdcomponenten en het negeren van de rest.

In gegevensanalyse, de eerste hoofdcomponent van een set van ${\ displaystyle p}$ Variabelen, verondersteld gezamenlijk normaal verdeeld te zijn, is de afgeleide variabele gevormd als een lineaire combinatie van de oorspronkelijke variabelen die de meeste variantie verklaart. De tweede hoofdcomponent verklaart de meeste variantie in wat er overblijft zodra het effect van de eerste component is verwijderd, en we kunnen doorgaan ${\ displaystyle p}$ iteraties totdat alle variantie wordt uitgelegd. PCA wordt meestal gebruikt wanneer veel van de variabelen sterk met elkaar zijn gecorreleerd en het is wenselijk om hun aantal te verminderen tot een onafhankelijke set.

PCA wordt gebruikt in verkennende gegevensanalyse en voor het maken voorspellende modellen. Het wordt vaak gebruikt voor dimensionaliteitsvermindering Door elk gegevenspunt op alleen de eerste paar hoofdcomponenten te projecteren om lager-dimensionale gegevens te verkrijgen, terwijl zoveel mogelijk van de variatie van de gegevens kan worden bewaard. De eerste hoofdcomponent kan gelijkwaardig worden gedefinieerd als een richting die de variantie van de geprojecteerde gegevens maximaliseert. De ${\ displaystyle i}$-TH -hoofdcomponent kan worden opgevat als een richting die orthogonaal is voor de eerste ${\ DisplayStyle I-1}$ Belangrijkste componenten die de variantie van de geprojecteerde gegevens maximaliseren.

Voor beide doelstellingen kan worden aangetoond dat de belangrijkste componenten zijn eigenvectoren van de gegevens covariantiematrix. Aldus worden de belangrijkste componenten vaak berekend door eigendecompositie van de datacovariantiematrix of singuliere waarden ontbinding van de gegevensmatrix. PCA is de eenvoudigste van de echte op Eigenvector gebaseerde multivariate analyses en is nauw verwant factoren analyse. Factoranalyse bevat typisch meer domeinspecifieke veronderstellingen over de onderliggende structuur en lost eigenvectoren van een iets andere matrix op. PCA is ook gerelateerd aan Canonieke correlatieanalyse (CCA). CCA definieert coördinatensystemen die de cross-covariantie tussen twee datasets terwijl PCA een nieuwe definieert orthogonaal coördinatensysteem Dat beschrijft optimaal variantie in een enkele gegevensset.^[2][3][4][5] Robuust en L1-norm-gebaseerde varianten van standaard PCA zijn ook voorgesteld.^[6][7][8][5]

Geschiedenis

PCA werd in 1901 uitgevonden door Karl Pearson,^[9] als een analoog van de hoofdas stelling in mechanica; het werd later onafhankelijk ontwikkeld en genoemd door Harold Hotelling in de jaren dertig.^[10] Afhankelijk van het toepassingsveld, wordt het ook de discrete genoemd Karhunen - Loève transformeren (Klt) in signaalverwerking, de Hotelling transformeren in multivariate kwaliteitscontrole, Juiste orthogonale ontleding (Pod) in werktuigbouwkunde, singuliere waarden ontbinding (Svd) van X (uitgevonden in het laatste kwart van de 19e eeuw^[11]), eigenwaarde ontleding (Evd) van X^TX in lineaire algebra, factoren analyse (Zie hoofdstuk 7 van Jolliffe's voor een bespreking van de verschillen tussen PCA en factoranalyse Hoofdcomponentanalyse),^[12] Eckart - Young Stelling (Harman, 1960), of empirische orthogonale functies (EOF) In Meteorological Science, Empirical Eigenfunction Decomposition (Sirovich, 1987), Empirische componentanalyse (Lorenz, 1956), Quasiharmonic Modi (Brooks et al., 1988), spectrale ontleding in ruis en trillingen, en Empirische modale analyse in structurele dynamiek.

Intuïtie

PCA kan worden beschouwd als het passen van een p-dimensionaal ellipsoïde naar de gegevens, waarbij elke as van de ellipsoïde een hoofdcomponent vertegenwoordigt. Als een as van de ellipsoïde klein is, is de variantie langs die as ook klein.

Om de assen van de ellipsoïde te vinden, moeten we eerst de waarden van elke variabele in de gegevensset op 0 centreren door het gemiddelde van de waargenomen waarden van de variabele van elk van die waarden af ​​te trekken. Deze getransformeerde waarden worden gebruikt in plaats van de oorspronkelijke waargenomen waarden voor elk van de variabelen. Vervolgens berekenen we de covariantiematrix van de gegevens en bereken de eigenwaarden en overeenkomstige eigenvectoren van deze covariantiematrix. Dan moeten we normaliseren Elk van de orthogonale eigenvectoren om ze in eenheidsvectoren te veranderen. Zodra dit is gedaan, kan elk van de weder-orthogonale eenheidsevectoren worden geïnterpreteerd als een as van de ellipsoïde die op de gegevens is aangepast. Deze basiskeuze zal de covariantiematrix transformeren in een diagonaliseerde vorm, waarin de diagonale elementen de variantie van elke as vertegenwoordigen. Het aandeel van de variantie die elke eigenvector vertegenwoordigt, kan worden berekend door de eigenwaarde te delen die overeenkomt met die eigenvector door de som van alle eigenwaarden.

Tweedekker en klasplots (Mate van uitgelegd variantie) worden gebruikt om bevindingen van de PCA uit te leggen.

De bovenstaande foto is van een scree -plot die bedoeld is om de PCA te interpreteren en te beslissen hoeveel componenten ze moeten behouden. Het begin van de bocht in de lijn (punt van inflexie) moet aangeven hoeveel componenten worden behouden, dus in dit voorbeeld moeten drie factoren worden behouden.

Details

PCA is gedefinieerd als een orthogonaal lineaire transformatie Dat transformeert de gegevens naar een nieuwe coördinatie systeem zodanig dat de grootste variantie door een scalaire projectie van de gegevens op de eerste coördinaat (de eerste hoofdcomponent wordt genoemd), de tweede grootste variantie op de tweede coördinaat, enzovoort, enzovoort, ligt.^[12]

Overweeg een ${\ displaystyle n \ maal p}$ gegevens Matrix, X, met kolomgewijze nul empirisch gemiddelde (het monstergemiddelde van elke kolom is naar nul verschoven), waarbij elk van de n Rijen vertegenwoordigt een andere herhaling van het experiment, en elk van de p Kolommen geven een bepaald soort functie (bijvoorbeeld de resultaten van een bepaalde sensor).

Wiskundig wordt de transformatie gedefinieerd door een set van grootte ${\ displaystyle l}$ van p-Dimensionale vectoren van gewichten of coëfficiënten ${\ displaystyle \ mathbf {w} _ {(k)} = (w_ {1}, \ dots, w_ {p}) _ {(k)}}$ die elke rij vector in kaart brengen ${\ DisplayStyle \ Mathbf {x} _ {(i)}}$ van X naar een nieuwe vector van hoofdcomponent scores ${\ displaystyle \ mathbf {t} _ {(i)} = (t_ {1}, \ dots, t_ {l}) _ {(i)}}$, gegeven door

${\ displaystyle {t_ {k}} _ {(i)} = \ mathbf {x} _ {(i)} \ cdot \ mathbf {w} _ {(k)} \ qquad \ mathrm {voor} \ qquad i = 1, \ dots, n \ qquad k = 1, \ dots, l}$

op zo'n manier dat de individuele variabelen ${\ displaystyle t_ {1}, \ dots, t_ {l}}$ van t overwogen over de gegevensset erven achtereenvolgens de maximaal mogelijke variantie erven van X, met elke coëfficiëntvector w beperkt om een eenheid Vector (waar ${\ displaystyle l}$ wordt meestal geselecteerd om strikt minder te zijn dan ${\ displaystyle p}$ om dimensionaliteit te verminderen).

Eerste component

Om de variantie te maximaliseren, de eerste gewichtsvector w₍₁₎ Zo moet voldoen

${\ displaystyle \ mathbf {w} _ {(1)} = \ arg \ max _ {\ vert \ mathbf {w} \ vert = 1} \, \ links \ {\ sum _ {i} (t_ {1} (t_ {1} (t_ {1} ) _ {(i)}^{2} \ rechts \} = \ arg \ max _ {\ vert \ mathbf {w} \ vert = 1} \, \ links \ {\ sum _ {i} \ left (\ Mathbf {x} _ {(i)} \ cdot \ mathbf {w} \ rechts)^{2} \ rechts \}}$

Gelijkwaardig, het schrijven van dit in matrixvorm geeft

${\ displaystyle \ mathbf {w} _ {(1)} = \ arg \ max _ {\ links \ | \ mathbf {w} \ rechts \ | = 1} \ links \ {\ left \ | \ mathbf {xw} \ rechts \ | ^{2} \ rechts \} = \ arg \ max _ {\ links \ | \ mathbf {w} \ rechts \ | = 1} \ links \ {\ mathbf {w} ^{\ mathsf {t }} \ mathbf {x} ^{\ mathsf {t}} \ mathbf {xw} \ rechts \}}$

Sinds w₍₁₎ is gedefinieerd als een eenheidsvector, het voldoet ook aan

${\ displayStyle \ Mathbf {w} _ {(1)} = \ arg \ max \ links \ {{\ frac {\ mathbf {w} ^{\ mathsf {t}} \ mathbf {x} ^{\ mathsf {{\ mathsf {{\ mathsf {{\ mathsf {\ {\ mathsf {\ {\ mathsf { T}} \ Mathbf {xw}} {\ mathbf {w} ^{\ mathsf {t}} \ mathbf {w}}}} \ rechts \}}$

De te maximale hoeveelheid kan worden herkend als een Rayleigh quotiënt. Een standaardresultaat voor een Positieve semidefinietmatrix zoals X^TX is dat de maximaal mogelijke waarde van het quotiënt de grootste is eigenwaarde van de matrix, die optreedt wanneer w is de overeenkomstige eigenvector.

Met w₍₁₎ gevonden, de eerste hoofdcomponent van een gegevensvector x_(i) kan dan worden gegeven als een score t_{1 (i)} = x_(i) ⋅ w₍₁₎ In de getransformeerde coördinaten, of als de overeenkomstige vector in de oorspronkelijke variabelen, {x_(i) ⋅ w₍₁₎} w₍₁₎.

Verdere componenten

De k-th component is te vinden door de eerste af te trekken k- 1 hoofdcomponenten van X:

${\ displayStyle \ Mathbf {\ hat {x}} _ {k} = \ mathbf {x} -\ sum _ {s = 1}^{k -1} \ mathbf {x} \ mathbf {w} _ _ {(( s)} \ Mathbf {w} _ {(s)}^{\ mathsf {t}}}$

en vervolgens het vinden van de gewichtsvector die de maximale variantie uit deze nieuwe gegevensmatrix haalt

${\displaystyle \mathbf {w} _{(k)}=\mathop {\operatorname {arg\,max} } _{\left\|\mathbf {w} \right\|=1}\left\{\ Links \ | \ Mathbf {\ hat {x}} _ {k} \ mathbf {w} \ rechts \ |^{2} \ rechts \} = \ arg \ max \ links \ {{{\ tfrac {\ mathbf {w } ^{\ mathsf {t}} \ mathbf {\ hat {x}} _ {k} ^{\ mathsf {t}} \ mathbf {\ hat {x}} _ {k} \ mathbf {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w}} {w} {w}} {w}} {w}} {w}} \ mathbf {w} ^{t} \ mathbf {w}}} \ right \}}$

Het blijkt dat dit de resterende eigenvectoren van X^TX, met de maximale waarden voor de hoeveelheid tussen haakjes gegeven door hun overeenkomstige eigenwaarden. Dus de gewichtsvectoren zijn eigenvectoren van X^TX.

De k-TH -hoofdcomponent van een gegevensvector x_(i) kan daarom als score worden gegeven t_k(i) = x_(i) ⋅ w_(k) in de getransformeerde coördinaten, of als de overeenkomstige vector in de ruimte van de oorspronkelijke variabelen, {x_(i) ⋅ w_(k)} w_(k), waar w_(k) is de kde eigenvector van X^TX.

De volledige hoofdcomponenten ontleding van X kan daarom worden gegeven als

${\ DisplayStyle \ Mathbf {t} = \ Mathbf {x} \ Mathbf {W}}$

waar W is een p-door-p matrix van gewichten waarvan de kolommen de eigenvectoren van zijn X^TX. Het transponeren van W wordt soms de Whitening of Sfering -transformatie. Kolommen van W vermenigvuldigd met de vierkantswortel van overeenkomstige eigenwaarden, dat wil zeggen eigenvectoren opgeschaald door de varianties, worden genoemd, worden genoemd lading in PCA of in factoranalyse.

Covarianties

X^TX zelf kan worden herkend als evenredig met het empirische monster covariantiematrix van de gegevensset X^T.^{[12]: 30–31}

De steekproefcovariantie Q Tussen twee van de verschillende hoofdcomponenten over de dataset wordt gegeven door:

${\ displayStyle {\ begin {uitgelijnd} q (\ mathrm {pc} _ {(j)}, \ mathrm {pc} _ {(k)}) & \ propto (\ mathbf {x} \ mathbf {w} _ {(j)})^{\ Mathsf {t}} (\ Mathbf {x} \ Mathbf {w} _ {(k)}) \\ & = \ mathbf {w} _ {(j)}^{{{{{{{{{{ Mathsf {t}} \ Mathbf {x} ^{\ Mathsf {t}} \ Mathbf {x} \ Mathbf {w} _ {(K)} \\ & = \ Mathbf {W} _ {(j)} ^ {\ mathsf {t}} \ lambda _ {(k)} \ mathbf {w} _ {(k)} \\ & = \ lambda _ {(k)} \ mathbf {w} _ {(j)}^ {\ mathsf {t}} \ mathbf {w} _ {(k)} \ end {uitgelijnd}}}$

waar het eigenwaarde -eigendom van w_(k) is gebruikt om van lijn 2 naar lijn te gaan 3. Eigenvectoren w_(j) en w_(k) overeenkomend met eigenwaarden van een symmetrische matrix zijn orthogonaal (als de eigenwaarden verschillend zijn), of kunnen worden orthogonaliseerd (als de vectoren toevallig een gelijke herhaalde waarde delen). Het product in de uiteindelijke lijn is daarom nul; Er is geen steekproefcovariantie tussen verschillende hoofdcomponenten over de gegevensset.

Een andere manier om de belangrijkste componententransformatie te karakteriseren is daarom als de transformatie naar coördineert welke de empirische steekproefcovariantiematrix diagonaliseren.

In matrixvorm kan de empirische covariantiematrix voor de originele variabelen worden geschreven

${\displaystyle \mathbf {Q} \propto \mathbf {X} ^{\mathsf {T}}\mathbf {X} =\mathbf {W} \mathbf {\Lambda } \mathbf {W} ^{\mathsf { T}}}$

De empirische covariantiematrix tussen de belangrijkste componenten wordt

${\ DisplayStyle \ Mathbf {W} ^{\ Mathsf {T}} \ Mathbf {Q} \ Mathbf {W} \ propto \ Mathbf {W} ^{\ Mathsf {T}} \ Mathbf {W} \, \ Mathbf {\ Lambda} \, \ mathbf {w} ^{\ mathsf {t}} \ mathbf {w} = \ mathbf {\ lambda}}$

waar Λ is de diagonale matrix van eigenwaarden λ_(k) van X^TX. λ_(k) is gelijk aan de som van de vierkanten over de dataset die bij elke component is gekoppeld k, dat is, λ_(k) = Σ_i t_k²_(i) = Σ_i (x_(i) ⋅ w_(k))².

Dimensionaliteitsvermindering

De transformatie T = X W wijst een gegevensvector toe x_(i) Van een originele ruimte van p variabelen naar een nieuwe ruimte van p variabelen die niet zijn gecorreleerd over de gegevensset. Niet alle hoofdcomponenten hoeven echter te worden bewaard. Alleen de eerste behouden L hoofdcomponenten, geproduceerd door alleen de eerste te gebruiken L eigenvectoren, geeft de afgeknotte transformatie

${\ DisplayStyle \ Mathbf {t} _ {l} = \ Mathbf {x} \ Mathbf {w} _ {l}}$

waar de matrix T_L nu heeft n Rijen maar alleen L kolommen. Met andere woorden, PCA leert een lineaire transformatie ${\ displaystyle t = w_ {l} ^{\ mathsf {t}} x, x \ in \ mathbb {r} ^{p}, t \ in \ mathbb {r} ^{l},}$ waar de kolommen van p × L Matrix ${\ DisplayStyle w_ {l}}$ vormen een orthogonale basis voor de L kenmerken (de componenten van representatie t) die zijn decorrelateerd.^[13] Door constructie, van alle getransformeerde gegevensmatrices met alleen L Kolommen, deze scorematrix maximaliseert de variantie in de oorspronkelijke gegevens die behouden zijn, terwijl de totale kwadraatreconstructiefout wordt geminimaliseerd ${\ displaystyle \ | \ mathbf {t} \ mathbf {w}^{t}-\ mathbf {t} _ {l} \ mathbf {w} _ {l}^{t} \ | _ {2}^{ 2}}$ of ${\ displayStyle \ | \ Mathbf {x} -\ Mathbf {x} _ {l} \ | _ {2}^{2}}$.

Een principale componentenanalyse spreidingsplot van Y-STR haplotypes Berekend uit herhaalde-tellen waarden voor 37 y-chromosomale STR-markers van 354 individuen.
PCA heeft met succes lineaire combinaties gevonden van de markers die verschillende clusters scheiden die overeenkomen met verschillende lijnen van de y-chromosomale genetische afkomst van individuen.

Zo een dimensionaliteitsvermindering Kan een zeer nuttige stap zijn voor het visualiseren en verwerken van hoogdimensionale datasets, terwijl het nog steeds zoveel mogelijk variantie in de gegevensset behoudt. Bijvoorbeeld selecteren L= 2 en het behouden van alleen de eerste twee hoofdcomponenten vindt het tweedimensionale vlak door de hoogdimensionale gegevensset waarin de gegevens het meest worden verspreid, dus als de gegevens bevatten clusters Ook deze kunnen het meest verspreid zijn en daarom het meest zichtbaar om te worden uitgezet in een tweedimensionaal diagram; Terwijl als twee richtingen door de gegevens (of twee van de oorspronkelijke variabelen) willekeurig worden gekozen, de clusters veel minder uit elkaar kunnen worden verspreid, en in feite veel meer kans hebben om elkaar aanzienlijk te bedekken, waardoor ze niet te onderscheiden zijn.

Evenzo in regressie analyse, hoe groter het aantal verklarende variabelen toegestaan, hoe groter de kans op overfect Het model, dat conclusies produceert die niet generaliseren naar andere datasets. Eén benadering, vooral wanneer er sterke correlaties zijn tussen verschillende mogelijke verklarende variabelen, is om ze te verminderen tot enkele hoofdcomponenten en vervolgens de regressie tegen hen uit te voeren, een methode met de naam Regressie van de hoofdcomponent.

Dimensionaliteitsvermindering kan ook geschikt zijn wanneer de variabelen in een dataset luidruchtig zijn. Als elke kolom van de gegevensset onafhankelijke identiek gedistribueerde Gaussiaanse ruis bevat, dan zijn de kolommen van T zal ook op dezelfde manier identiek gedistribueerde Gaussiaanse ruis bevatten (een dergelijke verdeling is invariant onder de effecten van de matrix W, die kan worden beschouwd als een hoog-dimensionale rotatie van de coördinaatassen). Met meer van de totale variantie geconcentreerd in de eerste paar belangrijkste componenten in vergelijking met dezelfde ruisvariantie, is het evenredige effect van de ruis minder - de eerste paar componenten bereiken een hoger signaal - ruis verhouding. PCA kan dus het effect hebben van het concentreren van een groot deel van het signaal in de eerste paar belangrijkste componenten, die nuttig kunnen worden vastgelegd door dimensionaliteitsreductie; Terwijl de latere hoofdcomponenten kunnen worden gedomineerd door ruis en zo zonder groot verlies kunnen worden verwijderd. Als de gegevensset niet te groot is, kan de betekenis van de hoofdcomponenten worden getest met behulp van parametrische bootstrap, als hulpmiddel bij het bepalen hoeveel hoofdcomponenten te behouden zijn.^[14]

Singuliere waarden ontbinding

De belangrijkste componententransformatie kan ook worden geassocieerd met een andere matrixfactorisatie, de singuliere waarden ontbinding (Svd) van X,,

${\ displaystyle \ mathbf {x} = \ mathbf {u} \ mathbf {\ sigma} \ mathbf {w} ^{t}}$

Hier Σ is een n-door-p rechthoekige diagonale matrix van positieve cijfers σ_(k), de enkelvoudige waarden genoemd van X; U is een n-door-n matrix, waarvan de kolommen orthogonale eenheidsvectoren van lengte zijn n genaamd de linkse enkelvoudige vectoren van X; en W is een p-door-p waarvan de kolommen orthogonale eenheid vectoren van lengte zijn p en noemde de juiste enkelvoudige vectoren van X.

In termen van deze factorisatie, de matrix X^TX kan worden geschreven

${\ displayStyle {\ begin {uitgelijnd} \ mathbf {x} ^{t} \ mathbf {x} & = \ mathbf {w} \ mathbf {\ sigma} ^{\ mathsf {t}} \ mathbf {u} ^ {\ mathsf {t}} \ mathbf {u} \ mathbf {\ sigma} \ mathbf {w} ^{\ mathsf {t}} \\ & = \ mathbf {w} \ mathbf {\ sigma} ^{\ mathsf {T}} \ Mathbf {\ sigma} \ mathbf {w} ^{\ mathsf {t}} \\ & = \ mathbf {w} \ mathbf {\ hat {\ sigma}} ^{2} \ \ mathbf {w } ^{\ mathsf {t}} \ end {uitgelijnd}}}$

waar ${\ DisplayStyle \ Mathbf {\ hat {\ sigma}}}$ is de vierkante diagonale matrix met de enkelvoudige waarden van X en de overtollige nullen die zijn afgehakt die voldoet ${\ displayStyle \ Mathbf {{\ hat {\ sigma}} ^{2}} = \ Mathbf {\ sigma} ^{\ mathsf {t}} \ mathbf {\ sigma}}}$. Vergelijking met de eigenvectorfactorisatie van X^TX stelt vast dat de juiste enkelvoudige vectoren W van X zijn gelijk aan de eigenvectoren van X^TX, terwijl de enkelvoudige waarden σ_(k) van ${\ DisplayStyle \ Mathbf {x}}$ zijn gelijk aan de vierkante wortel van de eigenwaarden λ_(k) van X^TX.

Met behulp van de singular -waarde -ontleding de scorematrix T kan worden geschreven

${\ displayStyle {\ begin {uitgelijnd} \ mathbf {t} & = \ mathbf {x} \ mathbf {w} \\ & = \ mathbf {u} \ mathbf {\ sigma} \ mathbf {w} ^{\ mathsf {T}} \ Mathbf {w} \\ & = \ Mathbf {u} \ Mathbf {\ sigma} \ end {uitgelijnd}}}$

Dus elke kolom van T wordt gegeven door een van de linkse enkelvoudige vectoren van X vermenigvuldigd met de overeenkomstige enkelvoudige waarde. Deze vorm is ook de polaire ontleding van T.

Er zijn efficiënte algoritmen om de SVD van te berekenen X zonder de matrix te hoeven vormen X^TX, Het is nu de standaard manier om de SVD te berekenen om een ​​principale componentenanalyse te berekenen uit een gegevensmatrix, tenzij slechts een handvol componenten vereist zijn.

Net als bij de Eigen-decompositie, een afgekapt n × L scorematrix T_L kan worden verkregen door alleen de eerste L grootste enkelvoudige waarden en hun enkelvoudige vectoren te overwegen:

${\ displaystyle \ mathbf {t} _ {l} = \ mathbf {u} _ {l} \ mathbf {\ sigma} _ {l} = \ mathbf {x} \ mathbf {w} _ {l}}$

De afkorting van een matrix M of T Het gebruik van een afgeknotte ontleding van de enkelvoudige waarde produceert op deze manier een afgeknotte matrix die de dichtst mogelijke matrix is ​​van rang L tot de oorspronkelijke matrix, in de zin van het verschil tussen de twee die de kleinst mogelijke hebben Frobenius Norm, een resultaat dat bekend staat als de Eckart - Young Stelling [1936].

Verdere overwegingen

De enkelvoudige waarden (in Σ) zijn de vierkante wortels van de eigenwaarden van de matrix X^TX. Elke eigenwaarde is evenredig met het deel van de "variantie" (correcter van de som van de vierkante afstanden van de punten van hun multidimensionale gemiddelde) die wordt geassocieerd met elke eigenvector. De som van alle eigenwaarden is gelijk aan de som van de vierkante afstanden van de punten van hun multidimensionale gemiddelde. PCA roteert in wezen de reeks punten rond hun gemiddelde om aan te passen aan de belangrijkste componenten. Dit verplaatst zoveel mogelijk variantie (met behulp van een orthogonale transformatie) naar de eerste paar dimensies. De waarden in de resterende dimensies zijn daarom meestal klein en kunnen worden gedropt met minimaal verlies van informatie (zie onderstaand). PCA wordt vaak op deze manier gebruikt voor dimensionaliteitsvermindering. PCA onderscheidt zich om de optimale orthogonale transformatie te zijn voor het behouden van de subruimte die de grootste "variantie" heeft (zoals hierboven gedefinieerd). Dit voordeel komt echter ten koste Discrete Cosine Transformen in het bijzonder aan de DCT-II die gewoon bekend staat als de "DCT". Niet -lineaire dimensionaliteitsvermindering Technieken zijn meestal meer computationeel veeleisend dan PCA.

PCA is gevoelig voor het schalen van de variabelen. Als we slechts twee variabelen hebben en ze hebben hetzelfde steekproefvariantie en zijn volledig gecorreleerd, dan zal de PCA een rotatie met 45 ° met zich meebrengen en de "gewichten" (zij zijn de cosinus van rotatie) voor de twee variabelen ten opzichte van de hoofdcomponent zullen gelijk zijn. Maar als we alle waarden van de eerste variabele met 100 vermenigvuldigen, zal de eerste hoofdcomponent bijna hetzelfde zijn als die variabele, met een kleine bijdrage van de andere variabele, terwijl de tweede component bijna wordt afgestemd op de tweede oorspronkelijke variabele. Dit betekent dat wanneer de verschillende variabelen verschillende eenheden hebben (zoals temperatuur en massa), PCA een ietwat willekeurige analysemethode is. (Verschillende resultaten zouden worden verkregen als iemand bijvoorbeeld Fahrenheit zou gebruiken in plaats van Celsius bijvoorbeeld.) Pearson's originele papier had getiteld "On Lines en Vliegtuigen van het dichtst bij systemen van punten in de ruimte" - "in de ruimte" impliceert fysieke Euclidische ruimte waar dergelijke zorgen dat doen niet ontstaan. Een manier om de PCA minder willekeurig te maken, is door variabelen geschaald te gebruiken om eenheidsvariantie te hebben, door de gegevens te standaardiseren en dus de autocorrelatiematrix te gebruiken in plaats van de autocovariantiematrix als basis voor PCA. Dit comprimeert (of breidt) de schommelingen in alle afmetingen van de signaalruimte tot eenheidsvariantie in.

Gemiddelde aftrekking (ook bekend als "gemiddelde centrering") is noodzakelijk voor het uitvoeren van klassieke PCA om ervoor te zorgen dat de eerste hoofdcomponent de richting van maximale variantie beschrijft. Als de gemiddelde aftrekking niet wordt uitgevoerd, kan de eerste hoofdcomponent in plaats daarvan min of meer overeenkomen met het gemiddelde van de gegevens. Een gemiddelde van nul is nodig voor het vinden van een basis die de Gemiddelde vierkante fout van de benadering van de gegevens.^[15]

Gemiddeld centraal is niet nodig als het uitvoeren van een principale componentenanalyse op een correlatiematrix, omdat de gegevens al zijn gecentreerd na het berekenen van correlaties. Correlaties zijn afgeleid van het kruisproduct van twee standaardscores (Z-scores) of statistische momenten (vandaar de naam: Pearson product-moment correlatie). Zie ook het artikel van Kromrey & Foster-Johnson (1998) op "Gemiddelde centreren in gemodereerde regressie: veel ophef over niets". Sinds Covarianties zijn correlaties van genormaliseerde variabelen (Z- of standaard-scores) een PCA op basis van de correlatiematrix van X is Gelijk naar een PCA op basis van de covariantiematrix van Z, de gestandaardiseerde versie van X.

PCA is een populaire primaire techniek in patroonherkenning. Het is echter niet geoptimaliseerd voor de scheidbaarheid van de klassen.^[16] Het is echter gebruikt om de afstand tussen twee of meer klassen te kwantificeren door het massacentrum voor elke klasse te berekenen in de hoofdcomponentruimte en het rapporteren van Euclidische afstand tussen het midden van de massa van twee of meer klassen.^[17] De Lineaire discriminerende analyse is een alternatief dat is geoptimaliseerd voor de scheidbaarheid van de klassen.

Tabel met symbolen en afkortingen

Symbool	Betekenis	Dimensies	Indices
${\ DisplayStyle \ Mathbf {x} = \ {x_ {ij} \}}$	Gegevensmatrix, bestaande uit de set van alle gegevensvectoren, één vector per rij	${\ displaystyle n \ maal p}$	${\ displaystyle i = 1 \ ldots n}$ ${\ displaystyle j = 1 \ ldots p}$
${\ displaystyle n}$	Het aantal rijvectoren in de gegevensset	${\ DisplayStyle 1 \ maal 1}$	scalair-
${\ displaystyle p}$	Het aantal elementen in elke rijvector (dimensie)	${\ DisplayStyle 1 \ maal 1}$	scalair-
${\ displaystyle l}$	Het aantal dimensies in de dimensionaal verminderde subruimte, ${\ displaystyle 1 \ leq l \ leq p}$	${\ DisplayStyle 1 \ maal 1}$	scalair-
${\ DisplayStyle \ Mathbf {u} = \ {u_ {j} \}}$	vector van empirisch middelen, een gemiddelde voor elke kolom j van de gegevensmatrix	${\ displaystyle p \ maal 1}$	${\ displaystyle j = 1 \ ldots p}$
${\ DisplayStyle \ Mathbf {s} = \ {s_ {j} \}}$	vector van empirisch standaard afwijkingen, één standaardafwijking voor elke kolom j van de gegevensmatrix	${\ displaystyle p \ maal 1}$	${\ displaystyle j = 1 \ ldots p}$
${\ DisplayStyle \ Mathbf {h} = \ {H_ {i} \}}$	vector van alle 1's	${\ DisplayStyle 1 \ maal n}$	${\ displaystyle i = 1 \ ldots n}$
${\ DisplayStyle \ Mathbf {b} = \ {b_ {ij} \}}$	afwijkingen Van het gemiddelde van elke kolom j van de gegevensmatrix	${\ displaystyle n \ maal p}$	${\ displaystyle i = 1 \ ldots n}$ ${\ displaystyle j = 1 \ ldots p}$
${\ DisplayStyle \ Mathbf {z} = \ {z_ {ij} \}}$	Z-scores, berekend met behulp van de gemiddelde en standaardafwijking voor elke rij m van de gegevensmatrix	${\ displaystyle n \ maal p}$	${\ displaystyle i = 1 \ ldots n}$ ${\ displaystyle j = 1 \ ldots p}$
${\ DisplayStyle \ Mathbf {c} = \ {c_ {jj '} \}}$	covariantiematrix	${\ displaystyle p \ maal p}$	${\ displaystyle j = 1 \ ldots p}$ ${\ displaystyle j '= 1 \ ldots p}$
${\ DisplayStyle \ Mathbf {r} = \ {r_ {jj '} \}}$	correlatiematrix	${\ displaystyle p \ maal p}$	${\ displaystyle j = 1 \ ldots p}$ ${\ displaystyle j '= 1 \ ldots p}$
${\ DisplayStyle \ Mathbf {v} = \ {v_ {jj '} \}}$	matrix bestaande uit de set van allemaal eigenvectoren van C, één eigenvector per kolom	${\ displaystyle p \ maal p}$	${\ displaystyle j = 1 \ ldots p}$ ${\ displaystyle j '= 1 \ ldots p}$
${\ DisplayStyle \ Mathbf {d} = \ {d_ {jj '} \}}$	diagonale matrix bestaande uit de set van allemaal eigenwaarden van C langs zijn Hoofddiagonaalen 0 voor alle andere elementen (opmerking ${\ DisplayStyle \ Mathbf {\ Lambda}}$ hierboven gebruikt)	${\ displaystyle p \ maal p}$	${\ displaystyle j = 1 \ ldots p}$ ${\ displaystyle j '= 1 \ ldots p}$
${\ DisplayStyle \ Mathbf {W} = \ {W_ {Jl} \}}$	matrix van basisvectoren, één vector per kolom, waarbij elke basisvector een van de eigenvectoren is van C, en waar de vectoren binnen W zijn een subset van die in V	${\ DisplayStyle P \ Times L}$	${\ displaystyle j = 1 \ ldots p}$ ${\ displaystyle l = 1 \ ldots l}$
${\ DisplayStyle \ Mathbf {t} = \ {t_ {il} \}}$	matrix bestaande uit n rijvectoren, waarbij elke vector de projectie is van de overeenkomstige gegevensvector uit matrix X op de basisvectoren in de kolommen van de matrix W.	${\ DisplayStyle n \ Times L}$	${\ displaystyle i = 1 \ ldots n}$ ${\ displaystyle l = 1 \ ldots l}$

Eigenschappen en beperkingen van PCA

Eigendommen

Sommige eigenschappen van PCA zijn:^{[12][pagina nodig]}

Eigendom 1: Voor elk geheel getal q, 1 ≤ q ≤ p, overweeg de orthogonale lineaire transformatie

${\ displaystyle y = \ mathbf {b '} x}$

waar ${\ displaystyle y}$ is een Q-element vector en ${\ DisplayStyle \ Mathbf {B '}}$ is een (q × p) matrix, en laat ${\ displaystyle \ mathbf {\ sigma} _ {y} = \ mathbf {b '} \ mathbf {\ sigma} \ mathbf {b}}$ wees de variantie-covariantie matrix voor ${\ displaystyle y}$. Dan het spoor van ${\ DisplayStyle \ Mathbf {\ sigma} _ {y}}$, aangeduid ${\ DisplayStyle \ OperatorName {tr} (\ Mathbf {\ Sigma} _ {y})}$wordt gemaximaliseerd door te nemen ${\ DisplayStyle \ Mathbf {b} = \ Mathbf {a} _ {q}}$, waar ${\ DisplayStyle \ Mathbf {a} _ {q}}$ bestaat uit de eerste q kolommen van ${\ DisplayStyle \ Mathbf {A}}$ ${\ displayStyle (\ Mathbf {b '}}$ is het transponeren van ${\ DisplayStyle \ Mathbf {b})}$.

Eigenschap 2: Overweeg opnieuw de orthonormale transformatie

${\ displaystyle y = \ mathbf {b '} x}$

met ${\ DisplayStyle X, \ Mathbf {B}, \ Mathbf {A}}$ en ${\ DisplayStyle \ Mathbf {\ sigma} _ {y}}$ gedefinieerd als voorheen. Dan ${\ DisplayStyle \ OperatorName {tr} (\ Mathbf {\ Sigma} _ {y})}$ wordt geminimaliseerd door te nemen ${\ DisplayStyle \ Mathbf {b} = \ Mathbf {a} _ {q}^{*},}$ waar ${\ DisplayStyle \ Mathbf {A} _ {q}^{*}}$ bestaat uit de laatste q kolommen van ${\ DisplayStyle \ Mathbf {A}}$.

De statistische implicatie van deze eigenschap is dat de laatste paar pc's niet eenvoudigweg ongestructureerde links zijn na het verwijderen van de belangrijke pc's. Omdat deze laatste pc's varianties zo klein mogelijk hebben, zijn ze op zichzelf nuttig. Ze kunnen helpen om onverwachte bijna-constante lineaire relaties tussen de elementen van te detecteren x, en ze kunnen ook nuttig zijn in regressie, bij het selecteren van een subset van variabelen uit xen in uitbijterdetectie.

Eigendom 3: (Spectrale ontleding van Σ))

${\displaystyle \mathbf {\Sigma } =\lambda _{1}\alpha _{1}\alpha _{1}'+\cdots +\lambda _{p}\alpha _{p}\alpha _{p } '}$

Voordat we naar het gebruik ervan kijken, kijken we eerst naar diagonaal elementen,

${\ DisplayStyle \ OperatorName {var} (x_ {j}) = \ sum _ {k = 1}^{p} \ lambda _ {k} \ alpha _ {kj}^{2}}$

Misschien is de belangrijkste statistische implicatie van het resultaat misschien dat we niet alleen de gecombineerde varianties van alle elementen van kunnen ontleden x in afnemende bijdragen als gevolg van elke pc, maar we kunnen ook het geheel ontleden covariantiematrix in bijdragen ${\ displaystyle \ lambda _ {k} \ alpha _ {k} \ alpha _ {k} '}$ van elke pc. Hoewel niet strikt afnemen, de elementen van ${\ displaystyle \ lambda _ {k} \ alpha _ {k} \ alpha _ {k} '}$ zal de neiging zijn om kleiner te worden als ${\ displaystyle k}$ neemt toe, zoals ${\ displaystyle \ lambda _ {k} \ alpha _ {k} \ alpha _ {k} '}$ is niet -verbetering voor het verhogen ${\ displaystyle k}$, terwijl de elementen van ${\ DisplayStyle \ Alpha _ {k}}$ hebben de neiging om ongeveer even groot te blijven vanwege de normalisatiebeperkingen: ${\ displaystyle \ alpha _ {k} '\ alpha _ {k} = 1, k = 1, \ dots, p}$.

Beperkingen

Zoals hierboven opgemerkt, zijn de resultaten van PCA afhankelijk van het schalen van de variabelen. Dit kan worden genezen door elke functie te schalen door zijn standaardafwijking, zodat men eindigt met dimensieloze functies met unitale variantie.^[18]

De toepasbaarheid van PCA zoals hierboven beschreven, wordt beperkt door bepaalde (stilzwijgende) veronderstellingen^[19] gemaakt in zijn afleiding. In het bijzonder kan PCA lineaire correlaties tussen de kenmerken vastleggen, maar faalt wanneer deze veronderstelling wordt geschonden (zie figuur 6A in de referentie). In sommige gevallen kunnen coördinatentransformaties de veronderstelling van de lineariteit herstellen en kan PCA vervolgens worden toegepast (zie kernel pca).

Een andere beperking is het gemiddelde verwijderingsproces voordat de covariantiematrix voor PCA wordt geconstrueerd. In velden zoals astronomie zijn alle signalen niet-negatief en het gemiddelde verwijderingsproces zal het gemiddelde van sommige astrofysische blootstellingen nul dwingen, wat bijgevolg onfysische negatieve fluxen creëert,^[20] en voorwaartse modellering moet worden uitgevoerd om de ware omvang van de signalen te herstellen.^[21] Als een alternatieve methode, niet-negatieve matrixfactorisatie Richt zich alleen op de niet-negatieve elementen in de matrices, die zeer geschikt zijn voor astrofysische waarnemingen.^[22][23][24] Zie meer op Relatie tussen PCA en niet-negatieve matrixfactorisatie.

PCA is in het nadeel als de gegevens niet zijn gestandaardiseerd voordat het algoritme wordt toegepast. PCA transformeert originele gegevens in gegevens die relevant zijn voor de belangrijkste componenten van die gegevens, wat betekent dat de nieuwe gegevensvariabelen niet op dezelfde manieren kunnen worden geïnterpreteerd als de originelen. Het zijn lineaire interpretaties van de oorspronkelijke variabelen. Als PCA ook niet goed wordt uitgevoerd, is er een grote kans op informatieverlies.^[25]

PCA vertrouwt op een lineair model. Als een dataset er een patroon in heeft dat niet lineair is, kan PCA de analyse in de volledige tegenovergestelde richting van de voortgang sturen.^{[26][pagina nodig]} Onderzoekers van de Kansas State University ontdekten dat de steekproeffout in hun experimenten de vooringenomenheid van PCA -resultaten beïnvloedde. "Als het aantal onderwerpen of blokken kleiner is dan 30 en/of de onderzoeker geïnteresseerd is in pc's buiten de eerste, is het misschien beter om eerst te corrigeren voor de seriële correlatie, voordat PCA wordt uitgevoerd".^[27] De onderzoekers van de staat Kansas ontdekten ook dat PCA "ernstig bevooroordeeld zou kunnen zijn als de autocorrelatiestructuur van de gegevens niet correct wordt behandeld".^[27]

PCA en informatietheorie

Dimensionaliteitsvermindering resulteert in een verlies van informatie, in het algemeen. PCA-gebaseerde dimensionaliteitsvermindering heeft de neiging dat informatieverlies te minimaliseren, onder bepaalde signaal- en ruismodellen.

In de veronderstelling dat

${\ DisplayStyle \ Mathbf {x} = \ Mathbf {s} +\ Mathbf {n},}$

dat wil zeggen dat de gegevensvector ${\ DisplayStyle \ Mathbf {x}}$ is de som van het gewenste informatiedragende signaal ${\ DisplayStyle \ Mathbf {s}}$ en een ruissignaal ${\ DisplayStyle \ Mathbf {n}}$ Men kan aantonen dat PCA optimaal kan zijn voor dimensionaliteitsvermindering, van een informatietheoretisch gezichtspunt.

In het bijzonder toonde Linsk dat als ${\ DisplayStyle \ Mathbf {s}}$ is Gaussiaans en ${\ DisplayStyle \ Mathbf {n}}$ is Gaussiaanse ruis met een covariantiematrix evenredig met de identiteitsmatrix, de PCA maximaliseert de wederzijdse informatie ${\ DisplayStyle I (\ Mathbf {y}; \ Mathbf {s})}$ tussen de gewenste informatie ${\ DisplayStyle \ Mathbf {s}}$ en de dimensionaliteit-gereduceerde output ${\ DisplayStyle \ Mathbf {y} = \ Mathbf {w} _ {l}^{t} \ Mathbf {x}}$.^[28]

Als het geluid nog steeds Gaussiaans is en een covariantiematrix heeft die evenredig is aan de identiteitsmatrix (dat wil zeggen de componenten van de vector ${\ DisplayStyle \ Mathbf {n}}$ zijn iid), maar het informatiedragende signaal ${\ DisplayStyle \ Mathbf {s}}$ is niet-Gaussiaans (wat een veel voorkomend scenario is), PCA minimaliseert tenminste een bovengrens op de Informatieverlies, die wordt gedefinieerd als^[29][30]

${\ displayStyle i (\ mathbf {x}; \ mathbf {s}) -i (\ mathbf {y}; \ mathbf {s}).}.$

De optimaliteit van PCA wordt ook bewaard als de ruis ${\ DisplayStyle \ Mathbf {n}}$ Is IID en op zijn minst Gaussiaans (in termen van de Kullback - leibler divergentie) dan het informatiedragende signaal ${\ DisplayStyle \ Mathbf {s}}$.^[31] Over het algemeen, zelfs als het bovenstaande signaalmodel geldt, verliest PCA zijn informatietheoretische optimaliteit zodra de ruis ${\ DisplayStyle \ Mathbf {n}}$ wordt afhankelijk.

PCA berekenen met behulp van de covariantiemethode

Het volgende is een gedetailleerde beschrijving van PCA met behulp van de covariantiemethode (zie ook hier) in tegenstelling tot de correlatiemethode.^[32]

Het doel is om een ​​bepaalde gegevensset te transformeren X dimensie p naar een alternatieve gegevensset Y van kleinere dimensie L. Gelijkwaardig, we proberen de matrix te vinden Y, waar Y is de Karhunen - Loève Transform (klt) van matrix X:

${\ DisplayStyle \ Mathbf {y} = \ Mathbb {Klt} \ {\ Mathbf {x} \}}$

Organiseer de gegevensset

Stel dat u gegevens heeft die een reeks observaties van p variabelen, en u wilt de gegevens verminderen zodat elke observatie alleen kan worden beschreven L variabelen, L < p. Veronderstel verder dat de gegevens zijn gerangschikt als een set van n Gegevensvectoren ${\ DisplayStyle \ Mathbf {x} _ {1} \ ldots \ Mathbf {x} _ {n}}$ met elke ${\ DisplayStyle \ Mathbf {x} _ {i}}$ die een enkele gegroepeerde observatie van de p variabelen.

• Schrijven ${\ DisplayStyle \ Mathbf {x} _ {1} \ ldots \ Mathbf {x} _ {n}}$ als rijvectoren, elk met p elementen.
• Plaats de rijvectoren in een enkele matrix X van afmetingen n × p.

Bereken het empirische gemiddelde

• Zoek het empirische gemiddelde langs elke kolom j = 1, ...,p.
• Plaats de berekende gemiddelde waarden in een empirische gemiddelde vector u van afmetingen p × 1.

  ${\ displaystyle u_ {j} = {\ frac {1} {n}} \ sum _ {i = 1}^{n} x_ {ij}}$

Bereken de afwijkingen van het gemiddelde

Gemiddelde aftrekking is een integraal onderdeel van de oplossing om een ​​hoofdcomponentbasis te vinden die de gemiddelde vierkante fout van het benaderen van de gegevens minimaliseert.^[33] Daarom gaan we door met het centreren van de gegevens als volgt:

• Trek de empirische gemiddelde vector af ${\ DisplayStyle \ Mathbf {u} ^{t}}$ van elke rij van de gegevensmatrix X.
• Bewaar gemiddelde getracteerde gegevens in de n × p Matrix B.

  ${\ DisplayStyle \ Mathbf {b} = \ Mathbf {x} -\ Mathbf {h} \ Mathbf {u} ^{t}}$

  waar h is een n × 1 kolomvector van alle 1s:

  ${\ displaystyle H_ {i} = 1 \, \ qquad \ qquad {\ text {for}} i = 1, \ ldots, n}$

In sommige toepassingen, elke variabele (kolom van B) kan ook worden geschaald om een ​​variantie te hebben die gelijk is aan 1 (zie Z-score).^[34] Deze stap beïnvloedt de berekende hoofdcomponenten, maar maakt ze onafhankelijk van de eenheden die worden gebruikt om de verschillende variabelen te meten.

Vind de covariantiematrix

• Vind de p × p empirisch covariantiematrix C van matrix B:
  $${\ displaystyle \ mathbf {c} = {1 \ over {n-1}} \ mathbf {b} ^{*} \ mathbf {b}}$$

  
  waar ${\ DisplayStyle *}$ is de conjugaat transponeren operator. Als B bestaat volledig uit reële getallen, wat in veel toepassingen het geval is, het "geconjugeerde transponeren" is hetzelfde als de regulier omzetten.
• De redenering achter het gebruik n - 1 in plaats van n om de covariantie te berekenen is Bessel's correctie.

Vind de eigenvectoren en eigenwaarden van de covariantiematrix

• Bereken de matrix V van eigenvectoren welke diagonaliseert de covariantiematrix C:
  $${\ DisplayStyle \ Mathbf {v} ^{-1} \ Mathbf {c} \ Mathbf {v} = \ Mathbf {d}}$$

  
  waar D is de diagonale matrix van eigenwaarden van C. Deze stap omvat meestal het gebruik van een computergebaseerd algoritme voor het berekenen van eigenvectoren en eigenwaarden. Deze algoritmen zijn direct beschikbaar als subcomponenten van de meeste matrixalgebra systemen, zoals SAS,^[35] R, Matlab,^[36][37] Wisica,^[38] Scipy, Idl (Interactieve gegevenstaal), of GNU -octaaf net zoals OpenCV.
• Matrix D zal de vorm aannemen van een p × p diagonale matrix, waar
  $${\ displaystyle d_ {k \ ell} = \ lambda _ {k} \ qquad {\ text {for}} k = \ ell}$$

  
  is de jde eigenwaarde van de covariantiematrix C, en
  $${\ displaystyle d_ {k \ ell} = 0 \ qquad {\ text {for}} k \ neq \ ell.}$$

  
• Matrix V, ook van dimensie p × p, bevat p kolomvectoren, elk van lengte p, die het vertegenwoordigen p eigenvectoren van de covariantiematrix C.
• De eigenwaarden en eigenvectoren worden geordend en gekoppeld. De jDe eigenwaarde komt overeen met de jth eigenvector.
• Matrix V geeft de matrix aan van Rechtsaf eigenvectoren (in tegenstelling tot links eigenvectoren). Over het algemeen hebben de matrix van juiste eigenvectoren nodig niet Wees de (geconjugeerde) transponeer van de matrix van linkse eigenvectoren.

Herschik de eigenvectoren en eigenwaarden

• Sorteer de kolommen van de eigenvectormatrix V en eigenwaarde matrix D in volgorde van afnemend eigenwaarde.
• Zorg ervoor dat u de juiste paren tussen de kolommen in elke matrix onderhoudt.

Bereken het cumulatieve energie -inhoud voor elke eigenvector

• De eigenwaarden vertegenwoordigen de verdeling van de energie van de brongegevens^{[verduidelijking nodig]} Onder elk van de eigenvectoren, waar de eigenvectoren een basis voor de gegevens. Het cumulatieve energie -inhoud g voor de jDe eigenvector is de som van het energie -inhoud over alle eigenwaarden van 1 tot en met j:

  ${\ displaystyle g_ {j} = \ sum _ {k = 1}^{j} d_ {kk} \ qquad {\ text {voor}} j = 1, \ dots, p}$

Selecteer een subset van de eigenvectoren als basisvectoren

• Bewaar de eerste L kolommen van V als de p × L Matrix W:
  $${\ displaystyle w_ {kl} = v_ {k \ ell} \ qquad {\ text {for}} k = 1, \ dots, p \ qquad \ ell = 1, \ dots, l}$$

  
  waar
  $${\ DisplayStyle 1 \ leq l \ leq p.}$$

  
• Gebruik de vector g Als gids bij het kiezen van een geschikte waarde voor L. Het doel is om een ​​waarde van te kiezen L zo klein mogelijk, terwijl een redelijk hoge waarde van een redelijk hoge waarde wordt bereikt g op percentagebasis. U wilt bijvoorbeeld kiezen L zodat de cumulatieve energie g staat boven een bepaalde drempel, zoals 90 procent. Kies in dit geval de kleinste waarde van L zoals dat
  $${\ displaystyle {\ frac {g_ {l}} {g_ {p}}} \ geq 0.9}$$

  

Projecteer de gegevens op de nieuwe basis

• De geprojecteerde gegevenspunten zijn de rijen van de matrix
  $${\ DisplayStyle \ Mathbf {t} = \ Mathbf {B} \ CDOT \ MATHBF {W}}$$

  

Dat wil zeggen de eerste kolom van ${\ DisplayStyle \ Mathbf {t}}$ is de projectie van de gegevenspunten op de eerste hoofdcomponent, de tweede kolom is de projectie op de tweede hoofdcomponent, enz.

Afleiding van PCA met behulp van de covariantiemethode

Laten X wees een d-Dimensionale willekeurige vector uitgedrukt als kolomvector. Neem zonder verlies van algemeenheid aan X heeft nul gemiddeld.

We willen vinden ${\ displaystyle (\ ast)}$ a d × d orthonormale transformatiematrix P zodat Px heeft een diagonale covariantiematrix (dat wil zeggen, Px is een willekeurige vector met al zijn verschillende componenten paarsgewijze niet gecorreleerd).

Een snelle berekening verondersteld ${\ displaystyle p}$ waren eenheidsopbrengsten:

${\ displayStyle {\ begin {uitgelijnd} \ operatorName {cov} (px) & = \ operatorName {e} [px ~ (px)^{*}] \\ & = \ operatorName {e} [px ~ x^{ *} P^{*}] \\ & = p \ operatorName {e} [xx^{*}] p^{*} \\ & = p \ operatorName {cov} (x) p^{-1} \ \\ end {uitgelijnd}}}$

Vandaar ${\ displaystyle (\ ast)}$ geldt als en alleen als ${\ DisplayStyle \ OperatorName {cov} (x)}$ waren diagonaliseerbaar door ${\ displaystyle p}$.

Dit is erg constructief, zoals cov (X) is gegarandeerd een niet-negatieve definitieve matrix en is dus gegarandeerd diagonaliseerbaar door een unitaire matrix.

Covariantievrije berekening

In praktische implementaties, vooral met Hoge dimensionale gegevens (groot p), de naïeve covariantiemethode wordt zelden gebruikt omdat deze niet efficiënt is vanwege hoge reken- en geheugenkosten van het expliciet bepalen van de covariantiematrix. De covariantie-vrije aanpak vermijdt de NP² Bewerkingen van het expliciet berekenen en opslaan van de covariantiematrix X^TX, in plaats daarvan gebruiken matrixvrije methodenbijvoorbeeld op basis van de functie die het product evalueert X^T(X r) gaat ten koste van 2NP activiteiten.

Iteratieve berekening

Een manier om de eerste hoofdcomponent efficiënt te berekenen^[39] wordt weergegeven in de volgende pseudo-code, voor een gegevensmatrix X Met nul betekent, zonder ooit zijn covariantiematrix te berekenen.

r = een willekeurige vector van lengte p r = r / Norm (r) doen c keer: s = 0 (een vector van lengte p)) Voor elke rij x in X  s = s + (x ⋅ r) x  λ = rTs // λ is de eigenwaarde  Error = | λ ⋅ r − s|  r = s / Norm (s)  Verlaat als fout <tolerantie opbrengst λ, r 

Deze Power iteratie Algoritme berekent eenvoudig de vector X^T(X r), normaliseert en plaatst het resultaat terug in r. De eigenwaarde wordt benaderd door r^T (X^TX) r, welke is de Rayleigh quotiënt op de eenheidsvector r voor de covariantiematrix X^TX . Als de grootste enkelvoudige waarde goed is gescheiden van de volgende grootste, de vector r komt dicht bij de eerste hoofdcomponent van X Binnen het aantal iteraties c, die klein is ten opzichte van p, tegen de totale kosten 2CNP. De Power iteratie Convergentie kan worden versneld zonder de kleine kosten per iteratie merkbaar op te offeren met meer geavanceerde matrixvrije methoden, zoals de Lanczos -algoritme of de lokaal optimale blokkeergradiënt voor het blok (Lobpcg) Methode.

Daaropvolgende hoofdcomponenten kunnen één voor één worden berekend via deflatie of tegelijkertijd als een blok. In de vorige aanpak beïnvloeden deneuze in de reeds berekende hoofdcomponenten de nauwkeurigheid van de daaropvolgende berekende hoofdcomponenten bij benadering, waardoor de fout bij elke nieuwe berekening wordt verhoogd. De laatste benadering in de Block Power-methode vervangt enkele vectoren r en s met blokvectoren, matrices R en S. Elke kolom van R Benadert een van de toonaangevende hoofdcomponenten, terwijl alle kolommen tegelijkertijd worden herhaald. De belangrijkste berekening is evaluatie van het product X^T(X r). Bijvoorbeeld geïmplementeerd in Lobpcg, efficiënte blokkering elimineert de accumulatie van de fouten, maakt het gebruik van hoog niveau mogelijk Blas Matrix-matrix-productfuncties en leidt meestal tot snellere convergentie, vergeleken met de één-voor-één techniek met één vector.

De NIPALS -methode

Niet-lineaire iteratieve gedeeltelijke kleinste kwadraten (NIPALS) is een variant de klassiek Power iteratie met matrixaflatie door aftrekking geïmplementeerd voor het berekenen van de eerste paar componenten in een hoofdcomponent of Gedeeltelijke kleinste vierkanten analyse. Voor zeer hoge dimensionale datasets, zoals die gegenereerd in de *Omics Sciences (bijvoorbeeld, bijvoorbeeld genomica, metabolomica) Het is meestal alleen nodig om de eerste paar pc's te berekenen. De niet-lineaire iteratieve gedeeltelijke kleinste vierkanten (NIPALS) Algoritme werkt iteratieve benaderingen bij naar de toonaangevende scores en ladingen t₁ en r₁^T Door de Power iteratie vermenigvuldigen met elke iteratie door X Links en rechts, dat wil zeggen, de berekening van de covariantiematrix wordt vermeden, net als bij de matrixvrije implementatie van de stroom iteraties X^TX, op basis van de functie die het product evalueert X^T(X r) = ((X r)^TX)^T.

De matrixdeflatie door aftrekking wordt uitgevoerd door het buitenste product af te trekken, t₁r₁^T van X waardoor de leeggelopen restmatrix wordt gebruikt om de daaropvolgende toonaangevende pc's te berekenen.^[40] Voor grote datamatrices, of matrices met een hoge mate van kolomcollineariteit, lijdt NIPAL's aan verlies van orthogonaliteit van pc's als gevolg van machineprecisie Afrotfouten verzameld in elke iteratie- en matrixdeflatie door aftrekking.^[41] A Gram - Schmidt Reorthogonalisatie-algoritme wordt toegepast op zowel de scores als de ladingen bij elke iteratiestap om dit verlies van orthogonaliteit te elimineren.^[42] NIPALS Reliance van vermenigvuldigingen met één vector kan niet profiteren van hoog niveau Blas en resultaten in langzame convergentie voor geclusterde toonaangevende enkelvoudige waarden-zowel deze tekortkomingen worden opgelost in meer geavanceerde matrixvrije blokoplossers, zoals de lokaal optimale blokkeer vooraf geconditioneerde conjugaatgradiënt (Lobpcg) Methode.

Online/opeenvolgende schatting

In een "online" of "streaming" situatie met gegevens die stuk voor stuk aankomen in plaats van te worden opgeslagen in een enkele batch, is het handig om een ​​schatting te maken van de PCA -projectie die opeenvolgend kan worden bijgewerkt. Dit kan efficiënt worden gedaan, maar vereist verschillende algoritmen.^[43]

PCA en kwalitatieve variabelen

In PCA is het gebruikelijk dat we kwalitatieve variabelen willen introduceren als aanvullende elementen. Veel kwantitatieve variabelen zijn bijvoorbeeld gemeten op planten. Voor deze planten zijn sommige kwalitatieve variabelen beschikbaar, zoals bijvoorbeeld de soort waartoe de plant behoort. Deze gegevens werden onderworpen aan PCA voor kwantitatieve variabelen. Bij het analyseren van de resultaten is het vanzelfsprekend om de belangrijkste componenten te verbinden met de kwalitatieve variabele soorten. Hiervoor worden de volgende resultaten geproduceerd.

• Identificatie, op de facultale vlakken, van de verschillende soorten, bijvoorbeeld met behulp van verschillende kleuren.
• Vertegenwoordiging, op de faculteit gebranjes, van de zwaartepunt van planten die tot dezelfde soort behoren.
• Voor elk zwaartepunt en elke as, p-waarde om de betekenis van het verschil tussen het zwaartepunt en de oorsprong te beoordelen.

Deze resultaten zijn wat er wordt genoemd Introductie van een kwalitatieve variabele als aanvullend element. Deze procedure is gedetailleerd in en Husson, Lê & Pagès 2009 en Pagès 2013. Weinig software bieden deze optie op een "automatische" manier. Dit is het geval van Spad dat historisch gezien, na het werk van Ludovic Lebart, was de eerste die deze optie voorstelde, en het R -pakket Feitominer.

Toepassingen

Intelligentie

De vroegste toepassing van factoranalyse was het vinden en meten van componenten van menselijke intelligentie. Men geloofde dat intelligentie verschillende niet -gecorreleerde componenten had zoals ruimtelijke intelligentie, verbale intelligentie, inductie, deductie enz. En dat scores hierop konden worden toegevoegd door factoranalyse uit resultaten op verschillende tests, om een ​​enkele index te geven die bekend staat als de bekend Intelligentie Quotient (IQ). De baanbrekende statistische psycholoog Spearman Eigenlijk ontwikkelde factoranalyse in 1904 voor hem tweefactortheorie van intelligentie, het toevoegen van een formele techniek aan de wetenschap van psychometrie. In 1924 Thurstone Zekte naar 56 intelligentiefactoren, het ontwikkelen van het begrip mentale leeftijd. Standaard IQ -tests vandaag zijn gebaseerd op dit vroege werk.^[44]

Residentiële differentiatie

In 1949 introduceerden Shevky en Williams de theorie van Factoriële ecologie, die studies van residentiële differentiatie van de jaren 1950 tot de jaren 1970 domineerden.^[45] Buurten in een stad waren herkenbaar of konden van elkaar worden onderscheiden door verschillende kenmerken die konden worden teruggebracht tot drie door factoranalyse. Deze stonden bekend als 'sociale rang' (een index van beroepsstatus), 'familisme' of gezinsgrootte, en 'etniciteit'; Clusteranalyse kan vervolgens worden toegepast om de stad te verdelen in clusters of districten volgens waarden van de drie sleutelfactorvariabelen. Een uitgebreide literatuur ontwikkelde zich rond de factorale ecologie in stedelijke geografie, maar de aanpak raakte na 1980 uit de mode als methodologisch primitief en had weinig plaats in postmoderne geografische paradigma's.

Een van de problemen met factoranalyse heeft altijd overtuigende namen gevonden voor de verschillende kunstmatige factoren. In 2000 nieuw leven ingeblazen de factorale ecologiebenadering om aan te tonen dat de analyse van de belangrijkste componenten daadwerkelijk rechtstreeks zinvolle antwoorden gaf, zonder toevlucht te nemen tot factorrotatie. De belangrijkste componenten waren eigenlijk dubbele variabelen of schaduwprijzen van 'krachten' die mensen samen of uit elkaar duwen in steden. Het eerste onderdeel was 'toegankelijkheid', de klassieke afweging tussen de vraag naar reizen en de vraag naar ruimte, waarrond klassieke stedelijke economie is gebaseerd. De volgende twee componenten waren 'nadeel', die mensen van vergelijkbare status in afzonderlijke buurten (gemedieerd door planning) en etniciteit houden, waar mensen met vergelijkbare etnische achtergronden proberen te coacen.^[46]

Rond dezelfde tijd definieerde het Australian Bureau of Statistics verschillende indexen van voordeel en nadeel die de eerste hoofdcomponent van sets van belangrijke variabelen namen die als belangrijk werden beschouwd. Deze SEIFA -indexen worden regelmatig gepubliceerd voor verschillende rechtsgebieden en worden vaak gebruikt in ruimtelijke analyse.^[47]

Ontwikkelingsindexen

PCA is de enige formele methode die beschikbaar is voor de ontwikkeling van indexen, die anders een hit-or-miss zijn AD hoc onderneming.

De City Development Index werd ontwikkeld door PCA uit ongeveer 200 indicatoren van stadsresultaten in een onderzoek uit 1996 onder 254 wereldwijde steden. De eerste hoofdcomponent was onderhevig aan iteratieve regressie, waardoor de oorspronkelijke variabelen afzonderlijk werden toegevoegd totdat ongeveer 90% van zijn variatie werd verklaard. De index gebruikte uiteindelijk ongeveer 15 indicatoren, maar was een goede voorspeller van veel meer variabelen. De vergelijkende waarde was zeer goed overeengekomen met een subjectieve beoordeling van de toestand van elke stad. De infrastructuurcoëfficiënten waren ongeveer evenredig met de gemiddelde kosten voor het leveren van de onderliggende diensten, wat suggereert dat de index eigenlijk een maat was voor effectieve fysieke en sociale investeringen in de stad.

Het landniveau Human Development Index (Hdi) van UNDP, die sinds 1990 is gepubliceerd en zeer uitgebreid wordt gebruikt in ontwikkelingsstudies,^[48] heeft zeer vergelijkbare coëfficiënten op vergelijkbare indicatoren, wat sterk suggereert dat het oorspronkelijk werd geconstrueerd met behulp van PCA.

Bevolkingsgenetica

In 1978 Cavalli-Sforza en anderen pionierden het gebruik van principale componentenanalyse (PCA) om gegevens over variatie in menselijke genfrequenties in verschillende regio's samen te vatten. De componenten vertoonden onderscheidende patronen, waaronder gradiënten en sinusvormige golven. Ze interpreteerden deze patronen als gevolg van specifieke oude migratiegebeurtenissen.

Sindsdien is PCA alomtegenwoordig in populatiegenetica, met duizenden artikelen die PCA gebruiken als display -mechanisme. Genetica varieert grotendeels volgens de nabijheid, dus de eerste twee hoofdcomponenten vertonen daadwerkelijk ruimtelijke verdeling en kunnen worden gebruikt om de relatieve geografische locatie van verschillende bevolkingsgroepen in kaart te brengen, waardoor personen die zijn afgedwaald van hun oorspronkelijke locaties.^[49]

PCA in genetica is technisch controversieel geweest, omdat de techniek is uitgevoerd op discrete niet-normale variabelen en vaak op binaire allel markers. Het ontbreken van eventuele standaardfout in PCA is ook een belemmering voor consistent gebruiker. In augustus 2022, de moleculaire bioloog Eran Elhaik publiceerde een theoretisch artikel in Wetenschappelijke rapporten Analyse van 12 PCA -toepassingen. Hij concludeerde dat het gemakkelijk was om de methode te manipuleren, die volgens hem resultaten genereerde die 'onjuist, tegenstrijdig en absurd waren'. In het bijzonder, betoogde hij, werden de resultaten die in populatiegenetica werden bereikt gekenmerkt door kersenplukken en cirkelredenering.^[50]

Marktonderzoek en indexen van houding

Marktonderzoek is een uitgebreide gebruiker van PCA. Het wordt gebruikt om klanttevredenheid of klantloyaliteitsscores voor producten te ontwikkelen, en met clustering, om marktsegmenten te ontwikkelen die mogelijk zijn gericht op advertentiecampagnes, op vrijwel dezelfde manier als faculteit ecologie geografische gebieden zal vinden met vergelijkbare kenmerken.^[51]

PCA transformeert snel grote hoeveelheden gegevens in kleinere, gemakkelijker te verteren variabelen die sneller en gemakkelijk kunnen worden geanalyseerd. In elke consumentenvragenlijst zijn er een reeks vragen die zijn ontworpen om de attitudes van consumenten op te wekken, en de belangrijkste componenten zoeken latent variabelen die aan deze attitudes ten grondslag liggen. De Oxford Internet Survey in 2013 vroeg bijvoorbeeld 2000 mensen naar hun attitudes en overtuigingen, en van deze analisten hebben vier hoofdcomponentdimensies geëxtraheerd, die zij identificeerden als 'ontsnapping', 'sociaal netwerken', 'efficiëntie' en 'probleem creëren' .^[52]

Een ander voorbeeld van Joe Flood In 2008 haalde hij een attitudinale index voor huisvesting uit 28 attitudevragen in een nationaal onderzoek onder 2697 huishoudens in Australië. De eerste hoofdcomponent vertegenwoordigde een algemene houding ten opzichte van eigendom en woningbezit. De index, of de houding -vragen die het belichaamt, kan worden ingevoerd in een algemeen lineair model van ambtstermijnkeuze. De sterkste bepalende factor voor veruit particuliere huur was de Attitude Index, in plaats van inkomen, burgerlijke staat of huishoudstype.^[53]

Kwantitatieve financiering

In kwantitatieve financiering, hoofdcomponentanalyse kan direct worden toegepast op de risicomanagement van Rentevoet afgeleide portefeuilles.^[54] Meerdere verhandelen ruil instrumenten die meestal een functie zijn van 30-500 andere marktverbod in de markt, wordt getracht te worden gereduceerd tot meestal 3 of 4 hoofdcomponenten, die het pad van rentetarieven op macro -basis vertegenwoordigen. Het converteren van risico's die moeten worden weergegeven als die om laden (of vermenigvuldigingen) te factureren, biedt beoordelingen en begrip die verder gaat dan beschikbaar om eenvoudigweg risico's voor individuele 30-500 emmers te bekijken.

PCA is ook toegepast op aandelenportefeuilles op een vergelijkbare manier,^[55] beide tot Portfolio -risico en naar Risico -rendement. Een aanvraag is om het portefeuillerisico te verminderen, waar toewijzingsstrategieën worden toegepast op de "hoofdportefeuilles" in plaats van de onderliggende aandelen.^[56] Een tweede is het verbeteren van de portefeuilletoeding, met behulp van de belangrijkste componenten om Selecteer aandelen met opwaarts potentieel.

Neurowetenschap

Een variant van principale componentenanalyse wordt gebruikt in neurowetenschap om de specifieke eigenschappen van een stimulus te identificeren die een neuronde kans actiepotentiaal.^[57] Deze techniek staat bekend als Spike-geactiveerde covariantieanalyse. In een typische toepassing presenteert een experimentator een witte ruis proces als een stimulus (meestal als een zintuiglijke input voor een proefpersoon, of als een huidig direct geïnjecteerd in het neuron) en registreert een trein van actiepotentialen, of spikes, geproduceerd door het neuron als gevolg daarvan. Vermoedelijk maken bepaalde kenmerken van de stimulus het neuron waarschijnlijker om te spijken. Om deze functies te extraheren, berekent de experimentator de covariantiematrix van de met spike veroorzaakt ensemble, de set van alle stimuli (gedefinieerd en gediscretiseerd over een eindig tijdvenster, meestal in de volgorde van 100 ms) die onmiddellijk voorafging aan een piek. De eigenvectoren van het verschil tussen de spike-geactiveerde covariantiematrix en de covariantiematrix van de eerdere stimulussemble (de set van alle stimuli, gedefinieerd over dezelfde lengte -tijdvenster) geven vervolgens de aanwijzingen aan in de ruimte van stimuli waarlangs de variantie van het spike-geactiveerde ensemble het meest verschilde van die van het eerdere stimulussemble. In het bijzonder komen de eigenvectoren met de grootste positieve eigenwaarden overeen met de richtingen waarlangs de variantie van het spike-geactiveerde ensemble de grootste positieve verandering vertoonde in vergelijking met de varinie van de prior. Omdat dit de richtingen waren waarin variërende stimulus tot een piek leidde, zijn het vaak goede benaderingen van de gewilde relevante stimuluskenmerken.

In neurowetenschappen wordt PCA ook gebruikt om de identiteit van een neuron uit de vorm van zijn actiepotentiaal te onderscheiden. Spike sorteren is een belangrijke procedure omdat extracellulair Opnametechnieken pakken vaak signalen op van meer dan één neuron. Bij het sorteren van spike gebruikt men eerst PCA om de dimensionaliteit van de ruimte van actiepotentiaalgolfvormen te verminderen en vervolgens presteert clusteringanalyse om specifieke actiepotentialen te associëren met individuele neuronen.

PCA als dimensieverreductietechniek is met name geschikt om gecoördineerde activiteiten van grote neuronale ensembles te detecteren. Het is gebruikt bij het bepalen van collectieve variabelen, dat wil zeggen, bestelparameters, gedurende Faseovergangen in de hersenen.^[58]

Relatie met andere methoden

Correspondentieanalyse

Correspondentieanalyse (CA) is ontwikkeld door Jean-Paul Benzécri^[59] en is conceptueel vergelijkbaar met PCA, maar schaalt de gegevens (die niet-negatief moeten zijn) zodat rijen en kolommen gelijkwaardig worden behandeld. Het wordt traditioneel toegepast op Rontingentafels. CA ontbindt de Chi-kwadraat statistiek geassocieerd met deze tabel in orthogonale factoren.^[60] Omdat CA een beschrijvende techniek is, kan deze worden toegepast op tabellen waarvoor de chi-kwadraat statistiek geschikt is of niet. Er zijn verschillende varianten van CA beschikbaar, waaronder Degelde correspondentieanalyse en Canonieke correspondentieanalyse. Een speciale uitbreiding is Meerdere correspondentieanalyse, die kan worden gezien als de tegenhanger van hoofdcomponentanalyse voor categorische gegevens.^[61]

Factoren analyse

De bovenstaande afbeelding is een voorbeeld van het verschil tussen PCA en factoranalyse. In het topdiagram vertegenwoordigt de "factor" (bijv. Carrièrepad) de drie waargenomen variabelen (bijv. Dokter, advocaat, leraar), terwijl in het onderste diagram de waargenomen variabelen (bijv. Leraar voor de school, middelbare school, middelbare school, middelbare school, middelbare school Leraar) worden verminderd tot het onderdeel van interesse (bijvoorbeeld leraar).

Principale componentanalyse creëert variabelen die lineaire combinaties van de oorspronkelijke variabelen zijn. De nieuwe variabelen hebben de eigenschap dat de variabelen allemaal orthogonaal zijn. De PCA-transformatie kan nuttig zijn als een voorverwerkingsstap voor het clusteren. PCA is een variantie-gerichte benadering die de totale variabele variantie wil reproduceren, waarin componenten zowel gemeenschappelijke als unieke variantie van de variabele weerspiegelen. PCA heeft over het algemeen de voorkeur voor gegevensreductie (dat wil zeggen, variabele ruimte vertalen in een optimale factorruimte) maar niet wanneer het doel is om het latente construct of factoren te detecteren.

Factoren analyse is vergelijkbaar met de belangrijkste componentanalyse, in die factoranalyse omvat ook lineaire combinaties van variabelen. Anders dan PCA, is factoranalyse een correlatiegerichte benadering die de intercorrelaties tussen variabelen wil reproduceren, waarin de factoren "de gemeenschappelijke variantie van variabelen vertegenwoordigen, exclusief unieke variantie".^[62] In termen van de correlatiematrix komt dit overeen met de focus op het verklaren van de off-diagonale termen (dat wil zeggen gedeelde co-variantie), terwijl PCA zich richt op het verklaren van de termen die op de diagonaal zitten. Als een bijwerkingsresultaat echter, bij het proberen de on-diagonale termen te reproduceren, heeft PCA ook de neiging om relatief goed de off-diagonale correlaties te passen.^{[12]: 158} Resultaten gegeven door PCA en factoranalyse zijn in de meeste situaties erg vergelijkbaar, maar dit is niet altijd het geval en er zijn enkele problemen waarbij de resultaten aanzienlijk verschillen. Factoranalyse wordt in het algemeen gebruikt wanneer het onderzoeksdoel is dat de gegevensstructuur is (dat wil zeggen latente constructen of factoren) of causale modellering. Als het factormodel ten onrechte is geformuleerd of niet aan de veronderstellingen wordt voldaan, zal factoranalyse onjuiste resultaten opleveren.^[63]

K-Man -clustering

Er is beweerd dat de ontspannen oplossing van k-Man -clustering, gespecificeerd door de clusterindicatoren, wordt gegeven door de hoofdcomponenten en de PCA -subruimte overspan door de hoofdrichtingen is identiek aan de clustercentroid subruimte.^[64][65] Dat PCA echter een nuttige ontspanning is van k-Medenclustering was geen nieuw resultaat,^[66] en het is eenvoudig om tegenvoorbeelden te ontdekken in de verklaring dat de cluster -centroïde subruimte wordt overspannen door de belangrijkste richtingen.^[67]

Niet-negatieve matrixfactorisatie

Fractionele restvariantie (FRV) plots voor PCA en NMF;^[24] Voor PCA zijn de theoretische waarden de bijdrage van de resterende eigenwaarden. Ter vergelijking: de FRV -curven voor PCA bereiken een plat plateau waar geen signaal effectief wordt vastgelegd; Terwijl de NMF FRV -curven continu afnemen, wat duidt op een beter vermogen om signaal vast te leggen. De FRV-curven voor NMF convergeert ook naar hogere niveaus dan PCA, wat de minder-over-overdreven eigenschap van NMF aangeeft.

Niet-negatieve matrixfactorisatie (NMF) is een dimensieverminderingsmethode waarbij alleen niet-negatieve elementen in de matrices worden gebruikt, wat daarom een ​​veelbelovende methode is in de astronomie,^[22][23][24] In de zin dat astrofysische signalen niet-negatief zijn. De PCA-componenten zijn orthogonaal voor elkaar, terwijl de NMF-componenten allemaal niet-negatief zijn en daarom een ​​niet-orthogonale basis construeert.

In PCA wordt de bijdrage van elke component gerangschikt op basis van de grootte van de overeenkomstige eigenwaarde, die equivalent is aan de fractionele restvariantie (FRV) bij het analyseren van empirische gegevens.^[20] Voor NMF worden de componenten alleen gerangschikt op basis van de empirische FRV -curven.^[24] De resterende fractionele eigenwaardeplots, dat wil zeggen, ${\ displaystyle 1- \ sum _ {i = 1}^{k} \ lambda _ {i} {\ big /} \ sum _ {j = 1}^{n} \ lambda _ {j}}$ Als functie van het componentnummer ${\ displaystyle k}$ gegeven in totaal ${\ displaystyle n}$ Componenten, voor PCA, heeft een plat plateau, waar geen gegevens worden vastgelegd om de quasi-statische ruis te verwijderen, waarna de krommen snel daalden als een indicatie van het overpassen en willekeurige ruis vastleggen.^[20] De FRV -curven voor NMF neemt continu af^[24] Wanneer de NMF -componenten worden geconstrueerd opeenvolgend,^[23] wat wijst op het continu vastleggen van quasi-statische ruis; Convergeer dan naar hogere niveaus dan PCa,^[24] aangeeft de minder overpassende eigenschap van NMF.

Iconografie van correlaties

Het is vaak moeilijk om de belangrijkste componenten te interpreteren wanneer de gegevens veel variabelen van verschillende oorsprong bevatten, of wanneer sommige variabelen kwalitatief zijn. Dit leidt de PCA -gebruiker tot een delicate eliminatie van verschillende variabelen. Als observaties of variabelen een buitensporige impact hebben op de richting van de assen, moeten ze worden verwijderd en vervolgens worden geprojecteerd als aanvullende elementen. Bovendien is het noodzakelijk om te voorkomen dat de nabijheid tussen de punten in de buurt van het midden van het faculteit vlak wordt geïnterpreteerd.

Iconografie van correlaties - Geochemie van mariene aerosolen

De Iconografie van correlaties, integendeel, dat geen projectie is op een systeem van assen, heeft deze nadelen niet. We kunnen daarom alle variabelen behouden.

Het principe van het diagram is om de "opmerkelijke" correlaties van de correlatiematrix te onderstrepen door een ononderbroken lijn (positieve correlatie) of stippellijn (negatieve correlatie).

Een sterke correlatie is niet "opmerkelijk" als deze niet direct is, maar veroorzaakt door het effect van een derde variabele. Omgekeerd kunnen zwakke correlaties "opmerkelijk" zijn. Als een variabele y bijvoorbeeld afhankelijk is van verschillende onafhankelijke variabelen, zijn de correlaties van Y met elk van hen zwak en toch "opmerkelijk".

Generalisaties

Schaarse PCA

Een bijzonder nadeel van PCA is dat de belangrijkste componenten meestal lineaire combinaties zijn van alle invoervariabelen. Schaarse PCA overwint dit nadeel door lineaire combinaties te vinden die slechts enkele invoervariabelen bevatten. Het breidt de klassieke methode van principale componentanalyse (PCA) uit voor de vermindering van de dimensionaliteit van gegevens door de beperking van de sparsity toe te voegen aan de invoervariabelen. Er zijn verschillende benaderingen voorgesteld, waaronder

• een regressiekader,^[68]
• Een convexe ontspanning/semidefiniet programmeerkader,^[69]
• Een gegeneraliseerd kader voor de krachtmethode^[70]
• een afwisselend maximalisatiekader^[71]
• Voorwaarts-achterwaartse hebzuchtige zoekopdracht en exacte methoden met behulp van branch-and-bound-technieken,^[72]
• Bayesiaans formuleringskader.^[73]

De methodologische en theoretische ontwikkelingen van schaarse PCA en de toepassingen ervan in wetenschappelijke studies zijn onlangs beoordeeld in een onderzoekspaper.^[74]

Niet -lineaire PCA

Lineaire PCA versus niet -lineaire hoofdverdeelstukken^[75] voor visualisatie van borstkanker microarray Gegevens: a) Configuratie van knooppunten en 2D hoofdoppervlak in het 3D PCA -lineaire verdeelstuk. De dataset is gebogen en kan niet voldoende worden toegewezen op een 2D -hoofdvlak; b) de verdeling in de interne 2D-niet-lineaire hoofdoppervlakcoördinaten (ELMAP2D) samen met een schatting van de dichtheid van punten; c) hetzelfde als B), maar voor het lineaire 2D PCA -verdeelstuk (PCA2D). Het "basale" subtype borstkanker wordt meer voldoende gevisualiseerd met ELMAP2D en sommige kenmerken van de verdeling worden beter opgelost in vergelijking met PCA2D. Hoofdspruitstukken worden geproduceerd door de elastische kaarten algoritme. Gegevens zijn beschikbaar voor openbare concurrentie.^[76] Software is beschikbaar voor gratis niet-commercieel gebruik.^[77]

De meeste moderne methoden voor niet -lineaire dimensionaliteitsvermindering Vind hun theoretische en algoritmische wortels in PCA of K-middelen. Het oorspronkelijke idee van Pearson was om een ​​rechte lijn (of vliegtuig) te nemen die "de beste pasvorm" is voor een set gegevenspunten. Trevor Hastie uitgebreid met dit concept door voor te stellen Voornaam krommen^[78] Als de natuurlijke uitbreiding voor de geometrische interpretatie van PCA, die expliciet een verdeelstuk voor gegevens construeert benadering gevolgd door uitstekend de punten erop, zoals wordt geïllustreerd door Fig. Zie ook de elastische kaart algoritme en Principal geodetische analyse.^[79] Een andere populaire generalisatie is kernel pca, die overeenkomt met PCA uitgevoerd in een reproducerende kernel Hilbert -ruimte geassocieerd met een positieve definitieve kernel.

In Multilinear Subspace Learning,^[80] PCA is gegeneraliseerd Multilinear PCA (MPCA) die kenmerken rechtstreeks uit tensorrepresentaties haalt. MPCA wordt opgelost door PCA in elke modus van de tensor iteratief uit te voeren. MPCA is toegepast op gezichtsherkenning, loopherkenning, enz. MPCA wordt verder uitgebreid tot niet-gecorreleerde MPCA, niet-negatieve MPCA en robuuste MPCA.

N-Way -principale componentanalyse kan worden uitgevoerd met modellen zoals Tucker -ontleding, Parafac, Meerdere factoranalyse, co-inertie-analyse, statis en distatis.

Robuuste PCA

Hoewel PCA de wiskundig optimale methode vindt (zoals bij het minimaliseren van de vierkante fout), is deze nog steeds gevoelig voor uitbijters In de gegevens die grote fouten produceren, is iets dat de methode probeert te vermijden in de eerste plaats. Het is daarom gebruikelijk om uitbijters te verwijderen voordat PCA wordt berekend. In sommige contexten kunnen uitbijters echter moeilijk te identificeren zijn. Bijvoorbeeld in datamining Algoritmen zoals correlatieclustering, de toewijzing van punten aan clusters en uitbijters is niet vooraf bekend. Een recent voorgestelde generalisatie van PCA^[81] Op basis van een gewogen PCA verhoogt de robuustheid door verschillende gewichten toe te wijzen aan gegevensobjecten op basis van hun geschatte relevantie.

Outlier-resistente varianten van PCA zijn ook voorgesteld, gebaseerd op L1-Norm-formuleringen (L1-PCA).^[6][4]

Robuuste principale componentanalyse (RPCA) via ontleding in lage en schaarse matrices is een aanpassing van PCA die goed werkt met betrekking tot grof beschadigde waarnemingen.^[82][83][84]

Vergelijkbare technieken

Onafhankelijke componentanalyse

Onafhankelijke componentanalyse (ICA) is gericht op vergelijkbare problemen als hoofdcomponentanalyse, maar vindt additief scheidbare componenten in plaats van opeenvolgende benaderingen.

Netwerkcomponentanalyse

Gegeven een matrix ${\ displaystyle e}$, het probeert het in twee matrices te ontbinden, zodat dat ${\ displaystyle e = ap}$. Een belangrijk verschil met technieken zoals PCA en ICA is dat sommige van de vermeldingen van ${\ displaystyle a}$ zijn beperkt tot 0. hier ${\ displaystyle p}$ wordt de regelgevende laag genoemd. Hoewel een dergelijke ontleding in het algemeen meerdere oplossingen kan hebben, bewijzen ze dat als aan de volgende voorwaarden is voldaan:

1. ${\ displaystyle a}$ heeft de volledige kolom rang
2. Elke kolom van ${\ displaystyle a}$ moet tenminste hebben ${\ DisplayStyle L-1}$ nullen waar ${\ displaystyle l}$ is het aantal kolommen van ${\ displaystyle a}$ (of alternatief het aantal rijen van ${\ displaystyle p}$). De rechtvaardiging voor dit criterium is dat als een knooppunt uit de regelgevende laag wordt verwijderd, samen met alle daaraan verbonden uitgangsknooppunten, het resultaat nog steeds moet worden gekenmerkt door een connectiviteitsmatrix met volledige kolomrang.
3. ${\ displaystyle p}$ Moet een volledige rij rang hebben.

Dan is de ontleding uniek tot vermenigvuldiging door een scalair.^[85]

Discriminerende analyse van hoofdcomponenten

Discriminerende analyse van hoofdcomponenten (DAPC) is een multivariate methode die wordt gebruikt om clusters van genetisch gerelateerde individuen te identificeren en te beschrijven. Genetische variatie wordt verdeeld in twee componenten: variatie tussen groepen en binnen groepen, en het maximaliseert de eerste. Lineaire discriminanten zijn lineaire combinaties van allelen die de clusters het beste scheiden. Allelen die het meest bijdragen aan deze discriminatie, zijn daarom die welke het meest duidelijk verschillen in groepen. De bijdragen van allelen aan de door DAPC geïdentificeerde groepen kunnen het mogelijk maken om regio's van het genoom te identificeren die de genetische divergentie tussen groepen drijven^[86] In DAPC worden gegevens eerst getransformeerd met behulp van een principale componentenanalyse (PCA) en worden vervolgens clusters geïdentificeerd met behulp van Discriminant Analysis (DA).

Een DAPC kan worden gerealiseerd op R met behulp van het pakket adegenet. (meer informatie: adegenet op internet))

Software/broncode

• Alglib - Een C ++ en C# bibliotheek die PCA en afgeknotte PCA implementeert
• Analytica -De ingebouwde EigendeComp-functie berekent hoofdcomponenten.
• Elki -Inclusief PCA voor projectie, inclusief robuuste varianten van PCA, evenals PCA-gebaseerde clusteringalgoritmen.
• Gretl - De hoofdcomponentanalyse kan worden uitgevoerd via de PCA commando of via de Princomp () functie.
• Julia - Ondersteunt PCA met de PCA Functie in het multivariatestats -pakket
• Kneuzer - Een op Java gebaseerde nodal -rangschiksoftware voor analyse, hierin de knooppunten genaamd PCA, PCA Compute, PCA Toepassen, PCA Inverse maken het gemakkelijk.
• Wisica - Implementeert de belangrijkste componentanalyse met het opdracht PrincipalComponents met behulp van zowel covariantie- als correlatiemethoden.
• MATHPHP - PHP Wiskundebibliotheek met ondersteuning voor PCA.
• Matlab - De SVD -functie maakt deel uit van het basissysteem. In de toolbox van de statistieken zijn de functies principe en PCA (R2012B) Geef de belangrijkste componenten, terwijl de functie pcares Geeft de residuen en gereconstrueerde matrix voor een lage PCA-benadering.
• Matplotlib – Python Bibliotheek heeft een PCA -pakket in de .mlab -module.
• mlpack - Biedt een implementatie van principale componentanalyse in C ++.
• Zeurbibliotheek - Analyse van hoofdcomponenten wordt geïmplementeerd via de G03AA Routine (beschikbaar in beide Fortran -versies van de bibliotheek).
• Nmath - Proprietaire numerieke bibliotheek met PCA voor de .NET -framework.
• GNU -octaaf - Gratis software computationele omgeving die meestal compatibel is met MATLAB, de functie principe geeft de hoofdcomponent.
• OpenCV
• Oracle Database 12c - geïmplementeerd via Dbms_data_mining.svds_scoring_mode door de instellingswaarde op te geven Svds_scoring_pca
• Oranje (software) - Integreert PCA in zijn visuele programmeeromgeving. PCA toont een scree -plot (mate van uitgelegde variantie) waarbij de gebruiker het aantal hoofdcomponenten interactief kan selecteren.
• Oorsprong - Bevat PCA in zijn Pro -versie.
• Qlucore - Commerciële software voor het analyseren van multivariate gegevens met onmiddellijke respons met behulp van PCA.
• R – Vrij Statistisch pakket, de functies principe en prom kan worden gebruikt voor principale componentanalyse; prom toepassingen singuliere waarden ontbinding wat over het algemeen een betere numerieke nauwkeurigheid geeft. Sommige pakketten die PCA in R implementeren, omvatten, maar zijn niet beperkt tot: ADE4, veganistisch, Expositie, gedimd, en Feitominer.
• SAS - gepatenteerde software; Zie bijvoorbeeld^[87]
• Scikit-Learn - Python -bibliotheek voor machine learning die PCA, probabilistische PCA, kernel PCA, schaarse PCA en andere technieken in de ontledingsmodule bevat.
• SPSS - Proprietaire software die het meest wordt gebruikt door sociale wetenschappers voor PCA, factoranalyse en bijbehorende clusteranalyse.
• Weka - Java -bibliotheek voor machine learning die modules bevat voor het berekenen van hoofdcomponenten.

Zie ook

Referenties

Verder lezen

• Jackson, J.E. (1991). Een gebruikershandleiding voor hoofdcomponenten (Wiley).
• Jolliffe, I. T. (1986). Hoofdcomponentanalyse. Springer -serie in statistieken. Springer-Verlag. pp.487. Citeseerx 10.1.1.149.8828. doen:10.1007/B98835. ISBN 978-0-387-95442-4.
• Jolliffe, I. T. (2002). Hoofdcomponentanalyse. Springer -serie in statistieken. New York: Springer-Verlag. doen:10.1007/B98835. ISBN 978-0-387-95442-4.
• Husson François, Lê Sébastien & Pagès Jérôme (2009). Verkennende multivariate analyse per voorbeeld met behulp van R. Chapman & Hall/CRC de R -serie, Londen. 224P. ISBN978-2-7535-0938-2
• Pagès Jérôme (2014). Meerdere factoranalyse per voorbeeld met R. Chapman & Hall/CRC De R -serie Londen 272 P

Externe links

• Universiteit van Kopenhagen video door Rasmus Bro Aan YouTube
• Stanford University Video door Andrew Ng Aan YouTube
• Een tutorial over de principale componentanalyse
• De introductie van een leek tot de principale componentanalyse Aan YouTube (Een video van minder dan 100 seconden.)
• Statquest: Principal Component Analysis (PCA) duidelijk uitgelegd Aan YouTube
• Zie ook de lijst met Software -implementaties