Regressie van de hoofdcomponent

In statistieken, Regressie van de hoofdcomponent (PCR) is een regressie analyse Techniek die is gebaseerd op Hoofdcomponentanalyse (PCA).Meer specifiek wordt PCR gebruikt voor schatting het onbekende regressiecoëfficiënten in een Standaard lineair regressiemodel.

In PCR, in plaats van de afhankelijke variabele op de verklarende variabelen rechtstreeks terug te nemen, de hoofdcomponenten van de verklarende variabelen worden gebruikt als regressoren.Men gebruikt meestal alleen een subset van alle hoofdcomponenten voor regressie, waardoor PCR een soort van geregulariseerd procedure en ook een soort krimpschatter.

Vaak de belangrijkste componenten met hoger varianties (Degenen gebaseerd op eigenvectoren overeenkomend met de hogere eigenwaarden van de steekproef variantie-covariantiematrix van de verklarende variabelen) worden geselecteerd als regressors.Voor het doel van voorspelling De uitkomst, de belangrijkste componenten met lage varianties kunnen ook belangrijk zijn, in sommige gevallen nog belangrijker.^[1]

Een groot gebruik van PCR ligt in het overwinnen van de multicollineariteit probleem dat zich voordoet wanneer twee of meer van de verklarende variabelen bijna zijn collineair.^[2] PCR kan toepasselijk omgaan met dergelijke situaties door enkele van de hoofdcomponenten met lage variantie in de regressiestap uit te sluiten.Bovendien kan PCR door meestal alleen een subset van alle hoofdcomponenten terug te nemen, dimensievermindering Door het effectieve aantal parameters aanzienlijk te verlagen die het onderliggende model karakteriseren.Dit kan met name handig zijn in instellingen met hoog-dimensionale covariaten.Door de juiste selectie van de belangrijkste componenten die voor regressie moeten worden gebruikt, kan PCR ook leiden tot efficiënt voorspelling van de uitkomst op basis van het veronderstelde model.

Het principe

De PCR -methode kan breed worden onderverdeeld in drie belangrijke stappen:

1. ${\ displaystyle \; \;}$ Presteren PCA op de waargenomen Gegevensmatrix Voor de verklarende variabelen om de belangrijkste componenten te verkrijgen, en vervolgens (meestal) een subset, op basis van enkele geschikte criteria, selecteren van de belangrijkste componenten die aldus zijn verkregen voor verder gebruik.

2. ${\ displaystyle \; \;}$ Regresseer nu de waargenomen vector van resultaten op de geselecteerde hoofdcomponenten als covariaten, met behulp van gewone kleinste vierkanten regressie (lineaire regressie) om een vector van geschatte regressiecoëfficiënten te krijgen (met dimensie gelijk aan het aantal geselecteerde hoofdcomponenten).

3. ${\ displaystyle \; \;}$ nutsvoorzieningen transformeren deze vector terug naar de schaal van de werkelijke covariaten, met behulp van de geselecteerde PCA -laden (de eigenvectoren die overeenkomen met de geselecteerde hoofdcomponenten) om de Eind PCR -schatter (met dimensie gelijk aan het totale aantal covariaten) voor het schatten van de regressiecoëfficiënten die het oorspronkelijke model karakteriseren.

Details van de methode

Data weergave: Laten ${\ displayStyle \ Mathbf {y} _ {n \ times 1} = \ links (y_ {1}, \ ldots, y_ {n} \ rechts)^{t}}$ duiden de vector aan van waargenomen resultaten en ${\ displayStyle \ Mathbf {x} _ {n \ maal p} = \ left (\ mathbf {x} _ {1}, \ ldots, \ mathbf {x} _ {n} \ rechts)^{t}}$ Geef de overeenkomstige aan Gegevensmatrix van waargenomen covariaten waar, ${\ displaystyle n}$ en ${\ displaystyle p}$ duiden de grootte aan van de waargenomen steekproef en het aantal covariaten respectievelijk, met ${\ displaystyle n \ geq p}$. Elk van de ${\ displaystyle n}$ rijen van ${\ DisplayStyle \ Mathbf {x}}$ geeft een reeks observaties aan voor de ${\ displaystyle p}$ dimensionaal covariate en de respectieve toetreding van ${\ DisplayStyle \ Mathbf {y}}$ geeft de overeenkomstige waargenomen uitkomst aan.

Gegevensvoorbewerking: Aannemen dat ${\ DisplayStyle \ Mathbf {y}}$ en elk van de ${\ displaystyle p}$ kolommen van ${\ DisplayStyle \ Mathbf {x}}$ zijn al geweest gecentreerd zodat ze allemaal nul hebben Empirische middelen.Deze centreringstap is cruciaal (althans voor de kolommen van ${\ DisplayStyle \ Mathbf {x}}$) omdat PCR het gebruik van PCA ophoudt ${\ DisplayStyle \ Mathbf {x}}$ en PCA is gevoelig tot centreren van de gegevens.

Onderliggend model: Na centreren, de standaard Gauss - Markov lineaire regressie model voor ${\ DisplayStyle \ Mathbf {y}}$ Aan ${\ DisplayStyle \ Mathbf {x}}$ kan worden weergegeven als: ${\ displayStyle \ Mathbf {y} = \ Mathbf {x} {\ boldsymbol {\ beta}}+{\ boldsymbol {\ varepsilon}}, \;}$ waar ${\ displaystyle {\ boldsymbol {\ beta}} \ in \ mathbb {r} ^{p}}$ geeft de onbekende parametervector van regressiecoëfficiënten aan en ${\ DisplayStyle {\ boldsymbol {\ varepsilon}}}$ geeft de vector van willekeurige fouten aan met ${\ DisplayStyle \ OperatorName {e} \ left ({\ boldsymbol {\ varepsilon}} \ rechts) = \ Mathbf {0} \;}$ en ${\ displayStyle \; \ OperatorName {var} \ left ({\ boldsymbol {\ varepsilon}} \ rechts) = \ sigma ^{2} i_ {n \ times n}}$ Voor sommigen onbekend variantie parameter ${\ DisplayStyle \ Sigma ^{2}> 0 \; \;}$

Doelstelling: Het primaire doel is om een efficiënte te verkrijgen schatter ${\ DisplayStyle {\ widehat {\ boldsymbol {\ beta}}}}$ voor de parameter ${\ DisplayStyle {\ boldsymbol {\ beta}}}$, op basis van de gegevens.Een vaak gebruikte benadering hiervoor is gewone kleinste vierkanten regressie die, ervan uitgaande ${\ DisplayStyle \ Mathbf {x}}$ is Volledige kolom rang, geeft de onbevooroordeelde schatter: ${\ displayStyle {\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}} = (\ mathbf {x} ^{t} \ mathbf {x}) ^{-1} \ mathbf {x}^{T} \ Mathbf {y}}$ van ${\ DisplayStyle {\ boldsymbol {\ beta}}}$.PCR is een andere techniek die kan worden gebruikt voor hetzelfde doel van het schatten ${\ DisplayStyle {\ boldsymbol {\ beta}}}$.

PCA -stap: PCR begint met het uitvoeren van een PCA op de gecentreerde gegevensmatrix ${\ DisplayStyle \ Mathbf {x}}$.Hiervoor, laat ${\ DisplayStyle \ Mathbf {x} = u \ delta v^{t}}$ duiden op de singuliere waarden ontbinding van ${\ DisplayStyle \ Mathbf {x}}$ waar, ${\ displaystyle \ delta _ {p \ times p} = \ operatorName {diag} \ links [\ delta _ {1}, \ ldots, \ delta _ {p} \ rechts]}$ met ${\ displaystyle \ delta _ {1} \ geq \ cdots \ geq \ delta _ {p} \ geq 0}$ het niet-negatief aangeven enkelvoudige waarden van ${\ DisplayStyle \ Mathbf {x}}$, Terwijl de kolommen van ${\ displaystyle u_ {n \ times p} = [\ mathbf {u} _ {1}, \ ldots, \ mathbf {u} _ {p}]}$ en ${\ displaystyle v_ {p \ times p} = [\ mathbf {v} _ {1}, \ ldots, \ mathbf {v} _ {p}]}$ zijn beide orthonormale sets van vectoren die de Links en rechter enkelvoudige vectoren van ${\ DisplayStyle \ Mathbf {x}}$ respectievelijk.

De belangrijkste componenten: ${\ displaystyle v \ lambda v^{t}}$ geeft een spectrale ontleding van ${\ DisplayStyle \ Mathbf {x} ^{t} \ Mathbf {x}}$ waar $delta _ {1}^{2}, \ ldots, \ delta _ {p}^{2} \ rechts] = \ delta^{2}}$ met ${\ displaystyle \ lambda _ {1} \ geq \ cdots \ geq \ lambda _ {p} \ geq 0}$ het aangeven van de niet-negatieve eigenwaarden (ook bekend als de hoofdwaarden) van ${\ DisplayStyle \ Mathbf {x} ^{t} \ Mathbf {x}}$, terwijl de kolommen van ${\ DisplayStyle v}$ Geef de overeenkomstige orthonormale set eigenvectoren aan.Dan, ${\ DisplayStyle \ Mathbf {x} \ Mathbf {v} _ {j}}$ en ${\ DisplayStyle \ Mathbf {v} _ {J}}$ duiden respectievelijk de ${\ DisplayStyle J^{th}}$ hoofdcomponent en de ${\ DisplayStyle J^{th}}$ Richting van de hoofdcomponent (of PCA Loading) overeenkomend met de ${\ displayStyle j^{\ text {th}}}$ het grootste hoofdwaarde ${\ displaystyle \ lambda _ {j}}$ Voor elk ${\ displaystyle j \ in \ {1, \ ldots, p \}}$.

Afgeleide covariaten: Voor enige ${\ displaystyle k \ in \ {1, \ ldots, p \}}$, laten ${\ displaystyle v_ {k}}$ duiden op de ${\ displaystyle p \ maal k}$ matrix met orthonormale kolommen bestaande uit de eerste ${\ displaystyle k}$ kolommen van ${\ DisplayStyle v}$. Laten ${\ displaystyle w_ {k} = \ mathbf {x} v_ {k}}$ ${\ displayStyle = [\ Mathbf {x} \ Mathbf {v} _ {1}, \ ldots, \ mathbf {x} \ mathbf {v} _ {k}]}$ duiden op de ${\ displaystyle n \ maal k}$ matrix met de eerste ${\ displaystyle k}$ Hoofdcomponenten als zijn kolommen. ${\ DisplayStyle w}$ kan worden gezien als de gegevensmatrix die wordt verkregen met behulp van de getransformeerd covariaten ${\ displayStyle \ Mathbf {x} _ {i}^{k} = v_ {k}^{t} \ mathbf {x} _ {i} \ in \ mathbb {r}^{k}}$ In plaats van de originele covariaten te gebruiken ${\ displaystyle \ mathbf {x} _ {i} \ in \ mathbb {r} ^{p} \; \; \ forall \; \; 1 \ leq i \ leq n}$.

De PCR -schatter: Laten ${\ displaystyle {\ widehat {\ gamma}} _ {k} = (w_ {k}^{t} w_ {k})^{-1} w_ {k}^{t} \ mathbf {y} \ in\ Mathbb {r} ^{k}}$ duiden de vector aan van geschatte regressiecoëfficiënten verkregen door gewone kleinste vierkanten Regressie van de responsvector ${\ DisplayStyle \ Mathbf {y}}$ Op de gegevensmatrix ${\ DisplayStyle w_ {k}}$. Dan voor iedereen ${\ displaystyle k \ in \ {1, \ ldots, p \}}$, de uiteindelijke PCR -schatter van ${\ DisplayStyle {\ boldsymbol {\ beta}}}$ Gebaseerd op het gebruik van de eerste ${\ displaystyle k}$ Hoofdcomponenten worden gegeven door: ${\ displayStyle {\ widehat {\ boldsymbol {\ beta}}}} _ {k} = v_ {k} {\ widehat {\ gamma}} _ {k} \ in \ mathbb {r} ^{p}}$.

Fundamentele kenmerken en toepassingen van de PCR -schatter

Twee basiseigenschappen

Het pasproces voor het verkrijgen van de PCR -schatter omvat het regresseren van de responsvector op de afgeleide gegevensmatrix ${\ DisplayStyle w_ {k}}$ welke heeft orthogonaal kolommen voor elke ${\ displaystyle k \ in \ {1, \ ldots, p \}}$ Omdat de belangrijkste componenten dat zijn wederzijds orthogonaal naar elkaar.Dus in de regressiestap, het uitvoeren van een Meerdere lineaire regressie gezamenlijk op de ${\ displaystyle k}$ Geselecteerde hoofdcomponenten als covariaten is gelijk aan uitvoering ${\ displaystyle k}$ onafhankelijk Eenvoudige lineaire regressies (of univariate regressies) afzonderlijk op elk van de ${\ displaystyle k}$ Geselecteerde hoofdcomponenten als covariate.

Wanneer alle hoofdcomponenten worden geselecteerd voor regressie zodat ${\ displaystyle k = p}$, dan is de PCR -schatter gelijk aan de gewone kleinste vierkanten schatter.Dus, ${\displaystyle {\hat{\mathit{\beta }}}_p={\hat{\mathit{\beta }}}_{\mathrm{o}\mathrm{l}\mathrm{s}}}$.Dit is gemakkelijk te zien uit het feit dat ${\ displaystyle w_ {p} = \ mathbf {x} v_ {p} = \ mathbf {x} v}$ en ook waarnemen ${\ DisplayStyle v}$ is een orthogonale matrix.

Variantiereductie

Voor enige ${\ displaystyle k \ in \ {1, \ ldots, p \}}$, de variantie van ${\ DisplayStyle {\ widehat {\ boldsymbol {\ beta}}}} _ {k}}$ is gegeven door

${\ displayStyle \ OperatorName {var} ({\ widehat {\ boldsymbol {\ beta}}} _ {k}) = \ sigma ^{2} \; v_ {k} (w_ {k} ^{t} w_ {t} W_ {t} W_ {t} W_ {t} W_ {t} W_ {t}k})^{-1} v_ {k}^{t} = \ sigma^{2} \; v_ {k} \; \ operatorName {diag} \ links (\ lambda _ {1}^{-1}, \ ldots, \ lambda _ {k}^{-1} \ rechts) v_ {k}^{t} = \ sigma^{2} \ sideset {} {} \ sum _ {j = 1}^{k} {\ frac {\ mathbf {v} _ {j} \ mathbf {v} _ {j}^{t}} {\ lambda _ {j}}}.}$

Vooral:

${\ DisplayStyle \ OperatorName {var} ({\ widehat {\ boldsymbol {\ beta}}}} _ {p}) = \ operatorName {var} ({\ widehat {\ boldsymbolbol {\ beta}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}ols}}) = \ sigma ^{2} \ sideset {} {} \ sum _ {j = 1} ^{p} {\ frac {\ mathbf {v} _ {j} \ mathbf {v} _ _ _ {j}^{T}} {\ lambda _ {j}}}.}$

Vandaar voor iedereen ${\ displaystyle k \ in \ {1, \ ldots, p-1 \}}$ wij hebben:

${k}) = \ sigma ^{2} \ sideset {} {} \ sum _ {j = k+1} ^{p} {\ frac {\ mathbf {v} _ _ {j} \ mathbf {v} _{j}^{t}} {\ lambda _ {j}}}.}$

Dus voor iedereen ${\ displaystyle k \ in \ {1, \ ldots, p \}}$ wij hebben:

${k}) \ Succeq 0}$

waar ${\ DisplayStyle A \ Succeq 0}$ geeft aan dat een vierkante symmetrische matrix ${\ displaystyle a}$ is niet-negatief definitief.Bijgevolg is elk gegeven lineaire vorm van de PCR -schatter heeft een lagere variantie in vergelijking met die van hetzelfde lineaire vorm van de gewone kleinste kwadratenschatter.

Het aanpakken van multicollineariteit

Onder multicollineariteit, twee of meer van de covariaten zijn zeer gecorreleerd, zodat men lineair kan worden voorspeld van de anderen met een niet-triviale mate van nauwkeurigheid.Bijgevolg zijn de kolommen van de gegevensmatrix ${\ DisplayStyle \ Mathbf {x}}$ die overeenkomen met de waarnemingen voor deze covariaten, worden de neiging om te worden lineair afhankelijk en daarom, ${\ DisplayStyle \ Mathbf {x}}$ heeft de neiging om te worden rangschikken het verliezen van zijn volledige kolom rangstructuur.Meer kwantitatief, een of meer van de kleinere eigenwaarden van ${\ DisplayStyle \ Mathbf {x} ^{t} \ Mathbf {x}}$ komen (s) heel dichtbij of worden (en) exact gelijk aan ${\ DisplayStyle 0}$ in dergelijke situaties.De bovenstaande variantie -uitdrukkingen geven aan dat deze kleine eigenwaarden het maximum hebben inflatie -effect over de variantie van de kleinste kwadratenschatter, daardoor destabiliseren de schatter aanzienlijk wanneer ze dichtbij zijn ${\ DisplayStyle 0}$.Dit probleem kan effectief worden aangepakt door een PCR -schatter te gebruiken die is verkregen door de belangrijkste componenten uit te sluiten die overeenkomen met deze kleine eigenwaarden.

Dimensievermindering

PCR kan ook worden gebruikt voor het uitvoeren dimensievermindering. Om dit te zien, laat ${\ displaystyle l_ {k}}$ duiden op een ${\ displaystyle p \ maal k}$ matrix met orthonormale kolommen, voor elke ${\ displaystyle k \ in \ {1, \ ldots, p \}.}$ Stel nu dat we dat willen benaderen elk van de covariate observaties ${\ DisplayStyle \ Mathbf {x} _ {i}}$ door het rang ${\ displaystyle k}$ lineaire transformatie ${\ displaystyle l_ {k} \ mathbf {z} _ {i}}$ Voor sommigen ${\ displayStyle \ Mathbf {z} _ {i} \ in \ Mathbb {r} ^{k} (1 \ leq i \ leq n)}$.

Dan kan dat worden aangetoond

${\ displaystyle \ sum _ {i = 1}^{n} \ links \ | \ mathbf {x} _ {i} -l_ {k} \ mathbf {z} _ {i} \ rechts \ |^{2}}$

wordt geminimaliseerd bij ${\ displaystyle l_ {k} = v_ {k},}$ de matrix met de eerste ${\ displaystyle k}$ hoofdcomponentrichtingen als kolommen, en ${\ DisplayStyle \ Mathbf {z} _ {i} = \ Mathbf {x} _ {i}^{k} = v_ {k}^{t} \ mathbf {x} _ {i},},}$ de overeenkomstige ${\ displaystyle k}$ Dimensionale afgeleide covariaten.Dus de ${\ displaystyle k}$ Dimensionale hoofdcomponenten bieden het beste lineaire benadering van rang ${\ displaystyle k}$ naar de waargenomen gegevensmatrix ${\ DisplayStyle \ Mathbf {x}}$.

De overeenkomstige wederopbouwfout is gegeven door:

${\ displayStyle \ sum _ {i = 1}^{n} \ links \ | \ mathbf {x} _ {i} -v_ {k} \ mathbf {x} _ {i}^{k} \ rechter \ |^{2} = {\ begin {cases} \ sum _ {j = k+1}^{n} \ lambda _ {j} & 1 \ leqslant k <p \\ 0 & k = p \ end {cases}}}$

Dus elk potentieel dimensievermindering kan worden bereikt door te kiezen ${\ displaystyle k}$, het aantal hoofdcomponenten dat moet worden gebruikt, door de juiste drempel op de cumulatieve som van de eigenwaarden van ${\ DisplayStyle \ Mathbf {x} ^{t} \ Mathbf {x}}$.Aangezien de kleinere eigenwaarden niet significant bijdragen aan de cumulatieve som, kunnen de overeenkomstige hoofdcomponenten worden gebleven, zolang de gewenste drempellimiet niet wordt overschreden.Dezelfde criteria kunnen ook worden gebruikt voor het aanpakken van de multicollineariteit Probleem waarbij de belangrijkste componenten die overeenkomen met de kleinere eigenwaarden kunnen worden genegeerd zolang de drempellimiet wordt gehandhaafd.

Regularisatie -effect

Aangezien de PCR -schatter meestal alleen een subset van alle hoofdcomponenten voor regressie gebruikt, kan deze worden gezien als een soort van een geregulariseerd procedure.Meer specifiek, voor elke ${\ DisplayStyle 1 \ leqslant K <p}$, de PCR -schatter ${\ DisplayStyle {\ widehat {\ boldsymbol {\ beta}}}} _ {k}}$ geeft de geregulariseerde oplossing aan voor het volgende beperkte minimalisatie probleem:

${\ displaystyle \ min _ {{\ boldsymbol {\ beta}} _ {*} \ in \ mathbb {r} ^{p}} \ links \ | \ mathbf {y} -\ mathbf {x} {\ \ boldsymbol {\ \ \ \ boldsymbol {\ \ \ boldsymbol {\ elf\ beta}} _ {*} \ right \ |^{2} \ quad {\ text {subject to}} \ quad {\ boldsymbol {\ beta}} _ {*} \ perp \ {\ mathbf {v} _{k+1}, \ ldots, \ mathbf {v} _ {p} \}.}$

De beperking kan gelijkwaardig worden geschreven als:

${\ displaystyle v _ {(p-k)}^{t} {\ boldsymbol {\ beta}} _ {*} = \ mathbf {0},}$

waar:

${\ displaystyle v _ {(p-k)} = \ links [\ mathbf {v} _ {k+1}, \ ldots, \ mathbf {v} _ {p} \ rechts] _ {p \ times (p-k)}.}$

Dus wanneer alleen een juiste subset van alle hoofdcomponenten wordt geselecteerd voor regressie, is de aldus verkregen PCR -schatter gebaseerd op een harde vorm van regularisatie die de resulterende oplossing beperkt tot de kolomruimte van de geselecteerde hoofdcomponentrichtingen, en beperkt bijgevolg deze te zijn orthogonaal naar de uitgesloten richtingen.

Optimaliteit van PCR bij een klasse van geregulariseerde schatters

Gezien het beperkte minimalisatieprobleem zoals hierboven gedefinieerd, overweeg dan de volgende gegeneraliseerde versie ervan:

${\ displaystyle \ min _ {{\ boldsymbol {\ beta}}} _ {*} \ in \ mathbb {r} ^{p}} \ | \ mathbf {y} -\ mathbf {x} {\ boldsymbol {\ beta}} _ {*} \ |^{2} \ quad {\ text {onderworpen aan}} \ quad l _ {(p-k)}^{t} {\ boldsymbol {\ beta}}} _ {*} = \ mathbf {0}}$

waar, ${\ displaystyle l _ {(p-k)}}$ geeft elke volledige kolom rang matrix van bestelling aan ${\ DisplayStyle P \ Times (P-K)}$ met ${\ DisplayStyle 1 \ leqslant K <p}$.

Laten ${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}}} _ {l}}$ Geef de bijbehorende oplossing aan.Dus

${\ DisplayStyle {\ widehat {\ boldsymbol {\ beta}}}} _ {l} = \ arg \ min _ {{\ boldsymbol {\ beta}} _ {*} \ in \ mathbb {r} ^{p}}}\ | \ Mathbf {y} -\ Mathbf {x} {\ boldsymbol {\ beta}} _ {*} \ |^{2} \ quad {\ text {subject to}} \ quad l _ _ {(p -k)}^{T} {\ boldsymbol {\ beta}} _ {*} = \ mathbf {0}.}$

Dan de optimale keuze van de restrictiematrix ${\ displaystyle l _ {(p-k)}}$ waarvoor de bijbehorende schatter ${\ displaystyle {\ widehat {\ boldsymbol {\ beta}}}} _ {l}}$ bereikt de minimale voorspellingsfout wordt gegeven door:^[3]

${\ displaystyle l _ {(p-k)}^{*} = v _ {(p-k)} \ lambda _ {(p-k)}^{1/2},}$

waar

${\ displayStyle \ lambda _ {(p-k)}^{1/2} = \ operatorName {diag} \ links (\ lambda _ {k+1}^{1/2}, \ ldots, \ lambda _ {p}^{1/2} \ rechts).}$

Het is duidelijk dat de resulterende optimale schatter ${\ displayStyle {\ widehat {\ boldsymbol {\ beta}}} _ {l^{*}}}$ wordt dan eenvoudig gegeven door de PCR -schatter ${\ DisplayStyle {\ widehat {\ boldsymbol {\ beta}}}} _ {k}}$ Gebaseerd op de eerste ${\ displaystyle k}$ hoofdcomponenten.

Efficiëntie

Omdat de gewone kleinste vierkantenschatter is onbevooroordeeld voor ${\ DisplayStyle {\ boldsymbol {\ beta}}}$, wij hebben

${\ mathrm {ols}}),}$

waar, MSE geeft de Gemiddelde vierkante fout.Nu, als voor sommigen ${\ displaystyle k \ in \ {1, \ ldots, p \}}$, we hebben bovendien: ${\ displaystyle v _ {(p-k)}^{t} {\ boldsymbol {\ beta}} = \ mathbf {0}}$, dan de overeenkomstige ${\ DisplayStyle {\ widehat {\ boldsymbol {\ beta}}}} _ {k}}$ is ook onbevooroordeeld voor ${\ DisplayStyle {\ boldsymbol {\ beta}}}$ en daarom

${\ DisplayStyle \ OperatorName {var} ({\ wideHat {\ boldsymbol {\ beta}}}} _ {k}) = \ operatorName {mse} ({\ widehat {\ boldsymbol {\ beta}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} {k}).}$

Dat hebben we al gezien

${\ displaystyle \ forall J \ in \ {1, \ ldots, p \}: \ quad \ operatorName {var} ({\ widehat {\ boldsymbol {\ beta}}}} _ {\ mathrm {ols}}})-\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \operatorName {var} ({\ widehat {\ boldsymbol {\ beta}}}} _ {j}) \ Succeq 0,}$

die dan impliceert:

${k}) \ Succeq 0}$

voor dat specifieke ${\ displaystyle k}$.Dus in dat geval de overeenkomstige ${\ DisplayStyle {\ widehat {\ boldsymbol {\ beta}}}} _ {k}}$ zou een meer zijn efficiënte schatter van ${\ DisplayStyle {\ boldsymbol {\ beta}}}$ in vergelijking tot ${\ displayStyle {\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}}$, op basis van het gebruik van de gemiddelde kwadratische fout als prestatiecriteria.Bovendien is elk gegeven lineaire vorm van de overeenkomstige ${\ DisplayStyle {\ widehat {\ boldsymbol {\ beta}}}} _ {k}}$ zou ook een lager hebben Gemiddelde vierkante fout vergeleken met die van hetzelfde lineaire vorm van ${\ displayStyle {\ widehat {\ boldsymbol {\ beta}}} _ {\ mathrm {ols}}}$.

Stel dat nu voor een gegeven ${\ displaystyle k \ in \ {1, \ ldots, p \}, v _ {(p-k)}^{\ boldsymbol {\ beta}}} \ neq \ mathbf {0}}$. Dan de overeenkomstige ${\ DisplayStyle {\ widehat {\ boldsymbol {\ beta}}}} _ {k}}$ is bevooroordeeld voor ${\ DisplayStyle {\ boldsymbol {\ beta}}}$.Sinds

${\ displaystyle \ forall k \ in \ {1, \ ldots, p \}: \ quad \ operatorName {var} ({\ widehat {\ boldsymbol {\ beta}}}} _ {\ mathrm {ols}}})-\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \OperatorName {var} ({\ widehat {\ boldsymbol {\ beta}}}} _ {k}) \ Succeq 0,}$

het is nog steeds mogelijk ${k}) \ Succeq 0}$, vooral als ${\ displaystyle k}$ is zodanig dat de uitgesloten hoofdcomponenten overeenkomen met de kleinere eigenwaarden, wat resulteert in lager vooroordeel.

Om een efficiënte schatting en voorspellingsprestaties van PCR te garanderen als een schatter van ${\ DisplayStyle {\ boldsymbol {\ beta}}}$, Park (1981) ^[3] stelt de volgende richtlijn voor voor het selecteren van de belangrijkste componenten die moeten worden gebruikt voor regressie: laat de ${\ DisplayStyle J^{th}}$ hoofdcomponent als en alleen als ${\ displayStyle \ lambda _ {j} <(p \ sigma ^{2})/{\ boldsymbol {\ beta}} ^{t} {\ boldsymbol {\ beta}}.}.$ Praktische implementatie van deze richtlijn vereist natuurlijk schattingen voor de onbekende modelparameters ${\ DisplayStyle \ Sigma ^{2}}$ en ${\ DisplayStyle {\ boldsymbol {\ beta}}}$.Over het algemeen kunnen ze worden geschat met behulp van de onbeperkte kleinste kwadratenschattingen verkregen uit het oorspronkelijke volledige model.Park (1981) biedt echter een enigszins gewijzigde set schattingen die voor dit doel beter geschikt zijn.^[3]

In tegenstelling tot de criteria op basis van de cumulatieve som van de eigenwaarden van ${\ DisplayStyle \ Mathbf {x} ^{t} \ Mathbf {x}}$, wat waarschijnlijk meer geschikt is voor het aanpakken van het multicollineariteitsprobleem en voor het uitvoeren van dimensievermindering, de bovenstaande criteria proberen eigenlijk de voorspelling en schattingsefficiëntie van de PCR -schatter te verbeteren door zowel de uitkomst als de covariaten in het proces van het selecteren van de hoofdsom te gebruikencomponenten die moeten worden gebruikt in de regressiestap.Alternatieve benaderingen met vergelijkbare doelen omvatten de selectie van de belangrijkste componenten op basis van kruisvalidatie of de Mallow's C_p criteria.Vaak worden de belangrijkste componenten ook geselecteerd op basis van hun graad van vereniging met de uitkomst.

Krimpeffect van PCR

Over het algemeen is PCR in wezen een krimpschatter die meestal de hoofdcomponenten met hoge variantie behouden (overeenkomend met de hogere eigenwaarden van ${\ DisplayStyle \ Mathbf {x} ^{t} \ Mathbf {x}}$) als covariaten in het model en de resterende componenten met lage variantie weggooien (overeenkomend met de lagere eigenwaarden van ${\ DisplayStyle \ Mathbf {x} ^{t} \ Mathbf {x}}$).Het oefent dus een discreet uit krimpeffect Over de componenten met lage variantie die hun bijdrage volledig in het oorspronkelijke model teniet doen.De daarentegen, de Ridge -regressie schatter heeft een soepel krimpeffect door het regularisatieparameter (of de afstemmingsparameter) inherent betrokken bij de constructie ervan.Hoewel het geen van de componenten volledig weggooit, oefent het een krimpeffect uit op allemaal op een continue manier, zodat de mate van krimp hoger is voor de componenten met lage variantie en lager is voor de componenten met hoge variantie.Frank en Friedman (1993)^[4] Concludeer dat voor het doel van voorspelling zelf de nokschatter, vanwege het soepele krimpeffect, misschien een betere keuze is in vergelijking met de PCR -schatter met een discreet krimpeffect.

Bovendien worden de hoofdcomponenten verkregen van de eigen-decoratie van ${\ DisplayStyle \ Mathbf {x}}$ Dat omvat alleen de waarnemingen voor de verklarende variabelen.Daarom hoeft de resulterende PCR -schatter verkregen uit het gebruik van deze hoofdcomponenten als covariaten niet noodzakelijkerwijs een bevredigende voorspellende prestaties voor de uitkomst te hebben.Een enigszins vergelijkbare schatter die dit probleem probeert aan te pakken via zijn constructie is de Gedeeltelijke kleinste vierkanten (PLS) schatter.Net als PCR gebruikt PLS ook afgeleide covariaten van lagere dimensies.In tegenstelling tot PCR worden de afgeleide covariaten voor PLS echter verkregen op basis van het gebruik van zowel de uitkomst als de covariaten.Hoewel PCR de richtingen van hoge variantie zoekt in de ruimte van de covariaten, zoekt PLS de richtingen in de covariate ruimte die het meest nuttig zijn voor de voorspelling van de uitkomst.

2006 Een variant van de klassieke PCR bekend als de begeleid PCR werd voorgesteld.^[5] In een geest vergelijkbaar met die van PLS, probeert het om afgeleide covariaten van lagere dimensies te verkrijgen op basis van een criterium dat zowel de uitkomst als de covariaten inhoudt.De methode begint met het uitvoeren van een set van ${\ displaystyle p}$ Eenvoudige lineaire regressies (of univariate regressies) waarbij de uitkomstvector afzonderlijk wordt teruggedrongen op elk van de ${\ displaystyle p}$ covariaten genomen één voor één.Dan, voor sommigen ${\ displaystyle m \ in \ {1, \ ldots, p \}}$, de eerste ${\ displaystyle m}$ Covariaten die het meest gecorreleerd blijken te zijn met de uitkomst (gebaseerd op de mate van significantie van de overeenkomstige geschatte regressiecoëfficiënten) worden geselecteerd voor verder gebruik.Een conventionele PCR, zoals eerder beschreven, wordt vervolgens uitgevoerd, maar nu is het gebaseerd op alleen de ${\ displaystyle n \ maal m}$ Gegevensmatrix die overeenkomt met de waarnemingen voor de geselecteerde covariaten.Het aantal gebruikte covariaten: ${\ displaystyle m \ in \ {1, \ ldots, p \}}$ en het volgende aantal gebruikte hoofdcomponenten: ${\ displaystyle k \ in \ {1, \ ldots, m \}}$ worden meestal geselecteerd door kruisvalidatie.

Generalisatie naar kernelinstellingen

De klassieke PCR -methode zoals hierboven beschreven is gebaseerd op klassieke PCA en beschouwt een lineair regressiemodel voor het voorspellen van de uitkomst op basis van de covariaten.Het kan echter gemakkelijk worden gegeneraliseerd naar een kernelmachine instelling waarbij de regressiefunctie hoeft niet noodzakelijkerwijs te zijn lineair in de covariaten, maar in plaats daarvan kan het tot de Reproduceren van kernel Hilbert -ruimte geassocieerd met elk willekeurig (mogelijk niet-lineair), symmetrisch Positief-Definite kernel. De lineair regressiemodel blijkt een speciaal geval van deze instelling te zijn wanneer de kernelfunctie wordt gekozen om de lineaire kernel.

In het algemeen onder de kernelmachine instelling, de vector van covariaten is de eerste in kaart gebracht in een hoog-dimensionaal (mogelijk oneindig-dimensionaal) Kenmerkruimte gekenmerkt door de kernelfunctie gekozen. De in kaart brengen dus verkregen staat bekend als de functiekaart en elk van zijn coördineert, ook bekend als de Feature Elements, komt overeen met één functie (kan zijn lineair of niet-lineair) van de covariaten.De regressiefunctie wordt dan verondersteld een lineaire combinatie van deze Feature Elements. Dus de onderliggend regressiemodel in de kernelmachine instelling is in wezen een lineair regressiemodel Met het begrip dat in plaats van de oorspronkelijke set covariaten, de voorspellers nu door de vector worden gegeven (potentieel oneindig-dimensionaal) van Feature Elements verkregen door transformeren de werkelijke covariaten met behulp van de functiekaart.

echter, de kerneltruc stelt ons in staat om te werken in de Kenmerkruimte zonder ooit expliciet de functiekaart.Het blijkt dat het alleen voldoende is om het paarsgewijze te berekenen Innerlijke producten Onder de kenmerkkaarten voor de waargenomen covariate vectoren en deze Innerlijke producten worden eenvoudig gegeven door de waarden van de kernelfunctie geëvalueerd op de overeenkomstige paren van covariate vectoren.De aldus verkregen paarsgewijze binnenproducten kunnen daarom worden weergegeven in de vorm van een ${\ displaystyle n \ maal n}$ symmetrische niet-negatieve definitieve matrix ook bekend als de kernelmatrix.

PCR in de kernelmachine instelling kan nu worden geïmplementeerd door eerst Geschikt centreren deze kernelmatrix (K, zeg) met betrekking tot de Kenmerkruimte en dan een kernel pca op de gecentreerde kernelmatrix (K ', zeg) waarbij een eigendecompositie van K 'wordt verkregen.Kernel PCR verloopt vervolgens door (meestal) een subset te selecteren van alle eigenvectoren Zo verkregen en vervolgens een Standaard lineaire regressie van de uitkomstvector op deze geselecteerde eigenvectoren. De eigenvectoren worden gebruikt voor regressie worden meestal geselecteerd met behulp van kruisvalidatie.De geschatte regressiecoëfficiënten (met dezelfde dimensie als het aantal geselecteerde eigenvectoren) samen met de overeenkomstige geselecteerde eigenvectoren worden vervolgens gebruikt voor het voorspellen van de uitkomst voor een toekomstige observatie.In Machine Learning, deze techniek staat ook bekend als spectrale regressie.

Het is duidelijk dat kernel PCR een discreet krimpeffect heeft op de eigenvectoren van K ', vrij gelijkaardig aan het discrete krimpeffect van klassieke PCR op de belangrijkste componenten, zoals eerder besproken.De functiekaart geassocieerd met de gekozen kernel kan echter mogelijk oneindig-dimensionaal zijn, en daarom kunnen de overeenkomstige hoofdcomponenten en hoofdcomponentrichtingen ook oneindig-dimensionaal zijn.Daarom zijn deze hoeveelheden vaak praktisch hardnekkig onder de kernelmachine -instelling.Kernel PCR werkt in wezen dit probleem door door een equivalente dubbele formulering te overwegen op basis van het gebruik van de spectrale ontleding van de bijbehorende kernelmatrix.Onder het lineaire regressiemodel (dat overeenkomt met het kiezen van de kernelfunctie als de lineaire kernel), komt dit neer op het overwegen van een spectrale ontleding van de overeenkomst ${\ displaystyle n \ maal n}$ kernelmatrix ${\ DisplayStyle \ Mathbf {x} \ Mathbf {x} ^{t}}$ en vervolgens de uitkomstvector regresseren op een geselecteerde subset van de eigenvectoren van ${\ DisplayStyle \ Mathbf {x} \ Mathbf {x} ^{t}}$ dus verkregen.Het kan gemakkelijk worden aangetoond dat dit hetzelfde is als het regresseren van de uitkomstvector op de overeenkomstige hoofdcomponenten (die in dit geval eindig-dimensionaal zijn), zoals gedefinieerd in de context van de klassieke PCR.Dus voor de lineaire kernel is de kernel -PCR op basis van een dubbele formulering exact equivalent aan de klassieke PCR op basis van een primaire formulering.Voor willekeurige (en mogelijk niet-lineaire) korrels kan deze primaire formulering echter onhandelbaar worden vanwege de oneindige dimensionaliteit van de bijbehorende functiekaart.Aldus wordt klassieke PCR in dat geval praktisch onhaalbaar, maar kernel -PCR op basis van de dubbele formulering blijft nog steeds geldig en computationeel schaalbaar.

Zie ook

• Hoofdcomponentanalyse
• Gedeeltelijke kleinste vierkantenregressie
• Ridge -regressie
• Canonieke correlatie
• Deming -regressie
• Totale som van vierkanten

Referenties

Verder lezen

• Amemiya, Takeshi (1985). Geavanceerde econometrie. Harvard University Press. pp.57–60. ISBN 978-0-674-00560-0.
• Theil, Henri (1971). Principes van econometrie. Wiley. pp.46–55. ISBN 978-0-471-85845-4.