Kosambi - Karhunen - Loève stelling

In de theorie van stochastische processen, de Karhunen - Loève stelling (genoemd naar Kari Karhunen en Michel Loève), ook bekend als de Kosambi - Karhunen - Loève stelling^[1][2] is een weergave van een stochastisch proces als een oneindige lineaire combinatie van Orthogonale functies, analoog aan een Fourier -serie weergave van een functie op een begrensde interval. De transformatie staat ook bekend als Hotelling transformeren en eigenvector transformeren, en is nauw verwant aan Hoofdcomponentanalyse (PCA) Techniek die veel wordt gebruikt bij beeldverwerking en in gegevensanalyse op veel gebieden.^[3]

Stochastische processen gegeven door oneindige series van deze vorm werden voor het eerst overwogen door Damodar Dharmananda Kosambi.^[4][5] Er zijn veel van dergelijke uitbreidingen van een stochastisch proces: als het proces wordt geïndexeerd [a, b], elk orthonormale basis van L²([a, b])) levert een uitbreiding daarvan in die vorm op. Het belang van de stelling van Karhunen - Loève is dat het de beste dergelijke basis oplevert in de zin dat het het totaal minimaliseert Gemiddelde vierkante fout.

In tegenstelling tot een Fourier -serie waar de coëfficiënten vaste nummers zijn en de uitbreidingsbasis bestaat uit Sinusvormige functies (dat is, sinus en cosinus functies), de coëfficiënten in de stelling van Karhunen - Loève zijn willekeurige variabelen en de uitbreidingsbasis hangt af van het proces. In feite worden de orthogonale basisfuncties die in deze weergave worden gebruikt, bepaald door de covariantiefunctie van het proces. Men kan denken dat de Karhunen -Loève -transformatie zich aan het proces aanpast om de best mogelijke basis voor de uitbreiding ervan te produceren.

In het geval van een gecentreerd stochastisch proces {X_t}_{t ∈ [a, b]} (gecentreerd middelen E[X_t] = 0 voor iedereen t ∈ [a, b]) Het voldoen aan een technische continuïteitsvoorwaarde, X geeft een ontleding toe

${\ displaystyle x_ {t} = \ sum _ {k = 1}^{\ infty} z_ {k} e_ {k} (t)}$

waar Z_k zijn paarsgewijze niet gecorrigeerd Willekeurige variabelen en de functies e_k zijn continue reële gewaardeerde functies op [a, b] die paarsgewijze zijn orthogonaal in L²([a, b])). Daarom wordt soms gezegd dat de uitbreiding is tweevoudig Sinds de willekeurige coëfficiënten Z_k zijn orthogonaal in de waarschijnlijkheidsruimte terwijl de deterministische functies e_k zijn orthogonaal in het tijdsdomein. Het algemene geval van een proces X_t dat niet gecentreerd is, kan worden teruggebracht naar het geval van een gecentreerd proces door te overwegen X_t − E[X_t] wat een gecentreerd proces is.

Bovendien, als het proces is Gaussiaans, dan de willekeurige variabelen Z_k zijn Gaussiaans en stochastisch onafhankelijk. Dit resultaat generaliseert de Karhunen - Loève Transform. Een belangrijk voorbeeld van een gecentreerd echt stochastisch proces op [0, 1] is de Wiener -proces; De stelling van Karhunen - Loève kan worden gebruikt om er een canonieke orthogonale weergave voor te bieden. In dit geval bestaat de uitbreiding uit sinusvormige functies.

De bovenstaande uitbreiding in niet -gecorreleerde willekeurige variabelen staat ook bekend als de Karhunen - Loève -uitbreiding of Karhunen - Loève -ontleding. De empirisch Versie (d.w.z. met de coëfficiënten berekend uit een monster) staat bekend als de Karhunen - Loève Transform (Klt), Hoofdcomponentanalyse, Juiste orthogonale ontleding (PEUL), empirische orthogonale functies (een term die wordt gebruikt in meteorologie en geofysica), of de Hotelling transformeren.

Formulering

• In dit artikel zullen we een square-integreerbaar Zero-Mean willekeurig proces X_t gedefinieerd over een waarschijnlijkheidsruimte (Ω, F, P) en geïndexeerd over een gesloten interval [a, b], met covariantiefunctie K_X(s, t). We hebben dus:

${\ displaystyle \ forall t \ in [a, b] \ qquad x_ {t} \ in l^{2} (\ omega, f, \ mathbf {p}),}$

${\ DisplayStyle \ forall t \ in [a, b] \ qquad \ mathbf {e} [x_ {t}] = 0,}$

${\ displaystyle \ forall t, s \ in [a, b] \ qquad k_ {x} (s, t) = \ mathbf {e} [x_ {s} x_ {t}].}$

• We associëren naar K_X a lineaire operator T_KX op de volgende manier gedefinieerd:

${\ displaystyle {\ begin {uitgelijnd} & t_ {k_ {x}} &: l^{2} ([a, b]) & \ to l^{2} ([a, b]) \\ &&: f \ mapsto t_ {k_ {x}} f & = \ int _ {a}^{b} k_ {x} (s, \ cdot) f (s) \, ds \ end {aligned}}}$

Sinds T_KX is een lineaire operator, het is logisch om over zijn eigenwaarden te praten λ_k en eigenfuncties e_k, die worden gevonden om de homogene Fredholm op te lossen integrale vergelijking van de tweede soort

${\ displaystyle \ int _ {a}^{b} k_ {x} (s, t) e_ {k} (s) \, ds = \ lambda _ {k} e_ {k} (t)}$

Verklaring van de stelling

Stelling. Laten X_t Wees een nul-mean vierkant-integreerbaar stochastisch proces dat is gedefinieerd over een waarschijnlijkheidsruimte (Ω, F, P) en geïndexeerd over een gesloten en begrensd interval [a,,b], met continue covariantiefunctie K_X(s, t).

Dan K_X(S, T) is een Mercer -kernel en verhuur e_k een orthonormale basis zijn L²([a, b])) gevormd door de eigenfuncties van T_KX met respectieve eigenwaarden λ_k, X_t geeft de volgende weergave toe

${\ displaystyle x_ {t} = \ sum _ {k = 1}^{\ infty} z_ {k} e_ {k} (t)}$

waar de convergentie zich bevindt L², uniform in t en

${\ displaystyle z_ {k} = \ int _ {a}^{b} x_ {t} e_ {k} (t) \, dt}$

Verder de willekeurige variabelen Z_k hebben nul-gemiddelde, zijn niet gecorreleerd en hebben variantie λ_k

${\ displaystyle \ mathbf {e} [z_ {k}] = 0, ~ \ forall k \ in \ mathbb {n} \ qquad {\ mbox {en}} \ qquad \ mathbf {e} [z_ {z_ {i} z_ {j}] = \ delta _ {ij} \ lambda _ {j}, ~ \ forall i, j \ in \ mathbb {n}}$

Merk op dat we door generalisaties van Mercer's stelling het interval kunnen vervangen [a, b] met andere compacte spaties C en de Lebesgue -maatregel op [a, b] met een Borel -maatstaf waarvan de steun is C.

Een bewijs

• De covariantiefunctie K_X voldoet aan de definitie van een mercer -kernel. Door Mercer's stelling, er bestaat bijgevolg een set λ_k, e_k(t) van eigenwaarden en eigenfuncties van T_KX het vormen van een orthonormale basis van L²([a,b])), en K_X kan worden uitgedrukt als

${\ displaystyle k_ {x} (s, t) = \ sum _ {k = 1}^{\ infty} \ lambda _ {k} e_ {k} (s) e_ {k} (t)}$

• Het proces X_t kan worden uitgebreid in termen van de eigenfuncties e_k net zo:

${\ displaystyle x_ {t} = \ sum _ {k = 1}^{\ infty} z_ {k} e_ {k} (t)}$

waar de coëfficiënten (willekeurige variabelen) Z_k worden gegeven door de projectie van X_t Over de respectieve eigenfuncties

${\ displaystyle z_ {k} = \ int _ {a}^{b} x_ {t} e_ {k} (t) \, dt}$

• We kunnen dan afleiden

${\ displayStyle {\ begin {uitgelijnd} \ mathbf {e} [z_ {k}] & = \ mathbf {e} \ links [\ int _ {a}^{b} x_ {t} e_ {k} (t ) \, dt \ right] = \ int _ {a}^{b} \ mathbf {e} [x_ {t}] e_ {k} (t) dt = 0 \\ [8pt] \ mathbf {e} [ Z_ {i} z_ {j}] & = \ mathbf {e} \ links [\ int _ {a}^{b} \ int _ {a}^{b} x_ {t} x_ {s} e_ {j {j } (t) e_ {i} (s) \, dt \, ds \ rechts] \\ & = \ int _ {a}^{b} \ int _ {a}^{b} \ mathbf {e} \ links [x_ {t} x_ {s} \ rechts] e_ {j} (t) e_ {i} (s) \, dt \, ds \\ & = \ int _ {a}^{b} \ int _ {a}^{b} k_ {x} (s, t) e_ {j} (t) e_ {i} (s) \, dt \, ds \\ & = \ int _ {a}^{b} e_ {i} (s) \ links (\ int _ {a}^{b} k_ {x} (s, t) e_ {j} (t) \, dt \ rechts) \, ds \\ & = \ lambda _ {j} \ int _ {a}^{b} e_ {i} (s) e_ {j} (s) \, ds \\ & = \ delta _ {ij} \ lambda _ {j} \ eind {uitgelijnd}}}$

waar we het feit hebben gebruikt e_k zijn eigenfuncties van T_KX en zijn orthonormaal.

• Laten we nu laten zien dat de convergentie binnen is L². Laten

${\ displaystyle s_ {n} = \ sum _ {k = 1}^{n} z_ {k} e_ {k} (t).}$

Dan:

${\ displayStyle {\ begin {aligned} \ mathbf {e} \ links [\ links | x_ {t} -s_ {n} \ rechts |^{2} \ rechts] & = \ mathbf {e} \ left [x_ {t}^{2} \ rechts]+\ Mathbf {e} \ links [s_ {n}^{2} \ rechts] -2 \ mathbf {e} \ links [x_ {t} s_ {n} \ rechts ] \\ & = k_ {x} (t, t)+\ mathbf {e} \ links [\ sum _ {k = 1}^{n} \ sum _ {l = 1}^{n} z_ {k } Z _ {\ ell} e_ {k} (t) e _ {\ ell} (t) \ rechts] -2 \ mathbf {e} \ links [x_ {t} \ sum _ {k = 1}^{n} Z_ {k} e_ {k} (t) \ rechts] \\ & = k_ {x} (t, t)+\ sum _ {k = 1}^{n} \ lambda _ {k} e_ {k} (t)^{2} -2 \ mathbf {e} \ links [\ sum _ {k = 1}^{n} \ int _ {a}^{b} x_ {t} x_ {s} e_ {k } (s) e_ {k} (t) \, ds \ rechts] \\ & = k_ {x} (t, t)-\ sum _ {k = 1}^{n} \ lambda _ {k} e_ {k} (t)^{2} \ end {uitgelijnd}}}$

die naar 0 gaat door de stelling van Mercer.

Eigenschappen van de Karhunen - Loève -transformatie

Speciaal geval: Gaussiaanse distributie

Omdat de limiet in het gemiddelde van gezamenlijk Gaussiaanse willekeurige variabelen gezamenlijk Gaussiaans is, en gezamenlijk Gauss -willekeurige (gecentreerde) variabelen onafhankelijk zijn als en alleen als ze orthogonaal zijn, kunnen we ook concluderen:

Stelling. De variabelen Z_i een gezamenlijke Gaussiaanse verdeling hebben en zijn stochastisch onafhankelijk als het oorspronkelijke proces {X_t}_t is Gaussiaans.

In het Gaussiaanse geval, sinds de variabelen Z_i zijn onafhankelijk, we kunnen meer zeggen:

${\ displaystyle \ lim _ {n \ to \ infty} \ sum _ {i = 1}^{n} e_ {i} (t) z_ {i} (\ omega) = x_ {t} (\ omega)}$

Bijna zeker.

De Karhunen - Loève transformeert het proces

Dit is een gevolg van de onafhankelijkheid van de Z_k.

De uitbreiding van Karhunen - Loève minimaliseert de totale gemiddelde vierkante fout

In de inleiding hebben we gezegd dat de afgeknotte uitbreiding van Karhunen-Loeve de beste benadering was van het oorspronkelijke proces in de zin dat het de totale gemiddelde kwadraatfout vermindert als gevolg van de afkorting. Vanwege deze eigenschap wordt vaak gezegd dat de KL -transformatie de energie optimaal compacteert.

Meer specifiek, gezien een orthonormale basis {f_k} van L²([a, b])), we kunnen het proces ontbinden X_t net zo:

${\ displaystyle x_ {t} (\ oMega) = \ sum _ {k = 1}^{\ infty} a_ {k} (\ omega) f_ {k} (t)}$

waar

${\ displaystyle a_ {k} (\ oMega) = \ int _ {a}^{b} x_ {t} (\ omega) f_ {k} (t) \, dt}$

En we kunnen benaderen X_t door de eindige som

${\ displayStyle {\ hat {x}} _ {t} (\ oMega) = \ sum _ {k = 1}^{n} a_ {k} (\ omega) f_ {k} (t)}$

Voor een geheel getal N.

Claim. Van alle dergelijke benaderingen is de KL -benadering degene die de totale gemiddelde vierkante fout minimaliseert (op voorwaarde dat we de eigenwaarden in afnemende volgorde hebben gerangschikt).

Verklaarde variantie

Een belangrijke observatie is dat omdat de willekeurige coëfficiënten Z_k van de KL -uitbreiding zijn niet gecorrigeerd, de Bienaymé -formule beweert dat de variantie van X_t is gewoon de som van de varianties van de afzonderlijke componenten van de som:

${\ DisplayStyle \ OperatorName {var} [x_ {t}] = \ sum _ {k = 0}^{\ infty} e_ {k} (t)^{2} \ Operatorname {var} [z_ {k}] = \ sum _ {k = 1}^{\ infty} \ lambda _ {k} e_ {k} (t)^{2}}$

Integreren van [a, b] en het gebruik van de orthonormaliteit van de e_k, we verkrijgen dat de totale variantie van het proces is:

${\ displayStyle \ int _ {a}^{b} \ operatorName {var} [x_ {t}] \, dt = \ sum _ {k = 1}^{\ infty} \ lambda _ {k}}}$

In het bijzonder de totale variantie van de N-Gereteerde benadering is

${\ displaystyle \ sum _ {k = 1}^{n} \ lambda _ {k}.}$

Als gevolg hiervan, de N-Munde uitbreiding legt uit

${\ displayStyle {\ frac {\ sum _ {k = 1}^{n} \ lambda _ {k}} {\ sum _ {k = 1}^{\ infty} \ lambda _ {k}}}}}$

van de variantie; En als we tevreden zijn met een benadering die bijvoorbeeld 95% van de variantie verklaart, moeten we gewoon een ${\ displaystyle n \ in \ Mathbb {n}}$ zoals dat

${\ displaystyle {\ frac {\ sum _ {k = 1}^{n} \ lambda _ {k}} {\ sum _ {k = 1}^{\ infty} \ lambda _ {k}}} \ geq 0.95.}$

De uitbreiding van Karhunen - Loève heeft de minimale representatie -entropie -eigenschap

Gegeven een weergave van ${\ displaystyle x_ {t} = \ sum _ {k = 1}^{\ infty} w_ {k} \ varphi _ {k} (t)}$, voor een orthonormale basis ${\ DisplayStyle \ varphi _ {k} (t)}$ en willekeurig ${\ DisplayStyle w_ {k}}$, wij laten ${\ displaystyle p_ {k} = \ mathbb {e} [| w_ {k} |^{2}]/\ mathbb {e} [| x_ {t} | _ {l^{2}}^{2} ]}$, zodat ${\ displaystyle \ sum _ {k = 1}^{\ infty} p_ {k} = 1}$. We kunnen dan de weergave definiëren entropie zijn ${\ displaystyle h (\ {\ varphi _ {k} \}) =-\ sum _ {i} p_ {k} \ log (p_ {k})}$. Dan hebben we ${\ displaystyle h (\ {\ varphi _ {k} \}) \ geq h (\ {e_ {k} \})}}$, voor alle keuzes van ${\ DisplayStyle \ varphi _ {k}}$. Dat wil zeggen, de KL-expansie heeft minimale representatie-entropie.

Een bewijs:

Geef de voor de basis verkregen coëfficiënten aan ${\ displaystyle e_ {k} (t)}$ net zo ${\ displaystyle p_ {k}}$, en voor ${\ DisplayStyle \ varphi _ {k} (t)}$ net zo ${\ displaystyle q_ {k}}$.

Kiezen ${\ displaystyle n \ geq 1}$. Merk op dat sindsdien ${\ displaystyle e_ {k}}$ Minimaliseert de gemiddelde kwadratische fout, dat hebben we

${\ DisplayStyle \ Mathbb {e} \ links | \ sum _ {k = 1}^{n} z_ {k} e_ {k} (t) -x_ {t} \ rechts | _ {l^{2}} ^{2} \ leq \ mathbb {e} \ links | \ sum _ {k = 1}^{n} w_ {k} \ varphi _ {k} (t) -x_ {t} \ rechts | _ {l ^{2}}^{2}}$

We breiden de rechterhandgrootte uit en krijgen:

${\ displayStyle \ Mathbb {e} \ links | \ sum _ {k = 1}^{n} w_ {k} \ varphi _ {k} (t) -x_ {t} \ rechter | _ _ _ _ _ _ _ _ _ _ _ _ _ {l^{2 }}^{2} = \ mathbb {e} | x_ {t}^{2} | _ {l^{2}}+\ sum _ {k = 1}^{n} \ sum _ {\ ell = 1}^{n} \ mathbb {e} [w _ {\ ell} \ varphi _ {\ ell} (t) w_ {k}^{*} \ varphi _ {k}^{*} (t)] _ {L^{2}}-\ sum _ {k = 1}^{n} \ mathbb {e} [w_ {k} \ varphi _ {k} x_ {t}^{*}] _ {l^{ 2}}-\ sum _ {k = 1}^{n} \ mathbb {e} [x_ {t} w_ {k}^{*} \ varphi _ {k}^{*} (t)] _ { L^{2}}}$

Met behulp van de orthonormaliteit van ${\ DisplayStyle \ varphi _ {k} (t)}$en uitbreiden ${\ displaystyle x_ {t}}$ in de ${\ DisplayStyle \ varphi _ {k} (t)}$ Basis krijgen we dat de rechterhandgrootte gelijk is aan:

${\ displayStyle \ Mathbb {e} [x_ {t}] _ {l^{2}}^{2}-\ sum _ {k = 1}^{n} \ mathbb {e} [| w_ {k} |^{2}]}$

We kunnen identieke analyse uitvoeren voor de ${\ displaystyle e_ {k} (t)}$, en zo de bovenstaande ongelijkheid herschrijven als:

${\ DisplayStyle {\ DisplayStyle \ Mathbb {e} [x_ {t}] _ {l^{2}}^{2}-\ sum _ {k = 1}^{n} \ mathbb {e} [| z_ {k} |^{2}]} \ leq {\ displaystyle \ mathbb {e} [x_ {t}] _ {l^{2}}^{2}-\ sum _ {k = 1}^{n } \ mathbb {e} [| w_ {k} |^{2}]}}$

Het aftrekken van de gemeenschappelijke eerste term, en delen door ${\ DisplayStyle \ Mathbb {e} [| x_ {t} | _ {l^{2}}^{2}]}$, we verkrijgen dat:

${\ displaystyle \ sum _ {k = 1}^{n} p_ {k} \ geq \ sum _ {k = 1}^{n} q_ {k}}$

Dit betekent dat:

${\ displayStyle -\ sum _ {k = 1}^{\ infty} p_ {k} \ log (p_ {k}) \ leq -\ sum _ {k = 1}^{\ infty} q_ {k} \ log (q_ {k})}$

Lineaire Karhunen - Loève -benaderingen

Overweeg een hele klasse signalen die we willen benaderen over de eerste M vectoren van een basis. Deze signalen zijn gemodelleerd als realisaties van een willekeurige vector Y[n] van grootte N. Om de benadering te optimaliseren, ontwerpen we een basis die de gemiddelde benaderingsfout minimaliseert. Deze sectie bewijst dat optimale bases Karhunen -loeve bases zijn die de covariantiematrix van diagonaliseren Y. De willekeurige vector Y kan op orthogonale basis worden afgebroken

${\ displaystyle \ links \ {g_ {m} \ rechts \} _ {0 \ leq m \ leq n}}$

als volgt:

${\ displaystyle y = \ sum _ {m = 0}^{n-1} \ links \ langle y, g_ {m} \ rechts \ Rangle g_ {m},}$

waar elk

${\ displaystyle \ links \ langle y, g_ {m} \ rechts \ rangle = \ sum _ {n = 0}^{n-1} {y [n]} g_ {m}^{*} [n]}$

is een willekeurige variabele. De benadering van de eerste M ≤ N Vectoren van de basis is

${\ displaystyle y_ {m} = \ sum _ {m = 0}^{m-1} \ links \ langle y, g_ {m} \ right \ rangle g_ {m}}$

De energiebesparing op orthogonale basis impliceert

${\ displayStyle \ varepsilon [m] = \ mathbf {e} \ links \ {\ links \ | y-y_ {m} \ rechts \ |^{2} \ rechts \} = \ sum _ {m = m}^ {N-1} \ mathbf {e} \ links \ {\ links | \ links \ langle y, g_ {m} \ rechts \ rangle \ rechts |^{2} \ rechts \}}}$

Deze fout is gerelateerd aan de covariantie van Y gedefinieerd door

${\ displayStyle r [n, m] = \ mathbf {e} \ links \ {y [n] y^{*} [m] \ rechts \}}$

Voor elke vector x[n] We duiden op door K De covariantie -operator vertegenwoordigd door deze matrix,

${\ displayStyle \ Mathbf {e} \ links \ {\ links | \ langle y, x \ rangle \ rechts |^{2} \ rechts \} = \ langle kx, x \ rangle = \ sum _ {n = 0} ^{N-1} \ sum _ {m = 0}^{n-1} r [n, m] x [n] x^{*} [m]}$

De fout ε[M] is daarom een ​​som van de laatste N − M coëfficiënten van de covariantie -operator

${\ displaystyle \ varepsilon [m] = \ sum _ {m = m}^{n-1} {\ links \ langle kg_ {m}, g_ {m} \ right \ rangle}}$

De covariantie -operator K is Hermitiaans en positief en wordt dus gediagonaliseerd op een orthogonale basis genaamd een Karhunen -Loève -basis. De volgende stelling stelt dat een Karhunen -Loève -basis optimaal is voor lineaire benaderingen.

Stelling (optimaliteit van Karhunen - Loève basis). Laten K Wees een covariantie -operator. Voor iedereen M ≥ 1, de benaderingsfout

${\ displaystyle \ varepsilon [m] = \ sum _ {m = m}^{n-1} \ links \ langle kg_ {m}, g_ {m} \ right \ rangle}$

is minimaal als en alleen als

${\ displaystyle \ links \ {g_ {m} \ rechts \} _ {0 \ leq m <n}}$

is een Karhunen -loeve basis besteld door afnemende eigenwaarden.

${\ displaystyle \ links \ langle kg_ {m}, g_ {m} \ rechter \ rangle \ geq \ links \ langle kg_ {m+1}, g_ {m+1} \ rangle, \ qquad 0 \ leq m m <N-1.}$

Niet-lineaire benadering in basen

Lineaire benaderingen projecteren het signaal op M vectoren a priori. De benadering kan nauwkeuriger worden gemaakt door de M Orthogonale vectoren afhankelijk van de signaaleigenschappen. Deze sectie analyseert de algemene prestaties van deze niet-lineaire benaderingen. Een signaal ${\ displaystyle f \ in \ mathrm {h}}$ wordt benaderd met M -vectoren die adaptief in orthonormale basis zijn geselecteerd voor ${\ DisplayStyle \ Mathrm {H}}$^{[Definitie nodig]}

${\ displaystyle \ mathrm {b} = \ links \ {g_ {m} \ rechts \} _ {m \ in \ mathbb {n}}}$

Laten ${\ displaystyle f_ {m}}$ wees de projectie van F over M -vectoren waarvan de indices zich bevinden I_M:

${\ displaystyle f_ {m} = \ sum _ {m \ in i_ {m}} \ links \ langle f, g_ {m} \ right \ rangle g_ {m}}$

De benaderingsfout is de som van de resterende coëfficiënten

${\ displaystyle \ varepsilon [m] = \ links \ {\ links \ | f-f_ {m} \ rechts \ |^{2} \ rechts \} = \ sum _ {m \ notin i_ {m}}^{ N-1} \ links \ {\ links | \ links \ langle f, g_ {m} \ rechter \ rangle \ rechts |^{2} \ rechts \}}$

Om deze fout te minimaliseren, de indices in I_M moet overeenkomen met de M -vectoren met de grootste binnenste productamplitude

${\ displaystyle \ links | \ links \ langle f, g_ {m} \ rechts \ rangle \ rechts |.}$

Dit zijn de vectoren die het beste f. Ze kunnen dus worden geïnterpreteerd als de belangrijkste kenmerken van f. De resulterende fout is noodzakelijkerwijs kleiner dan de fout van een lineaire benadering die de M -benaderingsvectoren onafhankelijk van F selecteert. Laten we sorteren

${\ displaystyle \ links \ {\ links | \ links \ langle f, g_ {m} \ rechts \ rangle \ rechts | \ rechts \} _ {m \ in \ mathbb {n}}}$

in afnemende volgorde

${\ displaystyle \ links | \ links \ langle f, g_ {m_ {k}} \ rechter \ rangle \ rechts | \ geq \ links | \ links \ langle f, g_ {m_ {k+1}} \ rechter \ rangle \ rangle \ rangle \ rangle \ rangle \ rangle \ rangle \ rechts |.}$

De beste niet-lineaire benadering is

${\ displaystyle f_ {m} = \ sum _ {k = 1}^{m} \ links \ langle f, g_ {m_ {k}} \ right \ rangle g_ {m_ {k}}}$

Het kan ook worden geschreven als innerlijke productdrempel:

${\ displaystyle f_ {m} = \ sum _ {m = 0}^{\ infty} \ theta _ {t} \ links (\ links \ langle f, g_ {m} \ rangle \ rechter) g_ {m {m {m }}$

met

${\ displaystyle t = \ links | \ links \ langle f, g_ {m_ {m}} \ rechts \ rangle \ rechts |, \ qquad \ theta _ {t} (x) = {\ begin {cases} x & | x | \ geq t \\ 0 & | x | <t \ end {cases}}}$

De niet-lineaire fout is

${\ displayStyle \ varepsilon [m] = \ links \ {\ links \ | f-f_ {m} \ rechts \ |^{2} \ rechts \} = \ sum _ {k = m+1}^{\ INFTY } \ links \ {\ links | \ links \ langle f, g_ {m_ {k}} \ rechts \ rangle \ rechts |^{2} \ rechts \}}$

Deze fout gaat snel naar nul naarmate M toeneemt, als de gesorteerde waarden van ${\ displaystyle \ links | \ links \ langle f, g_ {m_ {k}} \ rechts \ rangle \ rechts |}$ Heb een snel verval naarmate K toeneemt. Dit verval wordt gekwantificeerd door de ${\ DisplayStyle \ Mathrm {i} ^{\ Mathrm {P}}}$ Norm van de Signal Inner -producten in B:

${\ displayStyle \ | f \ | _ {\ mathrm {b}, p} = \ links (\ sum _ {m = 0}^{\ infty} \ links | \ links \ langle f, g_ {m} \ rechts \ rangle \ rechts |^{p} \ rechts)^{\ frac {1} {p}}}$

De volgende stelling heeft betrekking op het verval van ε[M] tot ${\ displaystyle \ | f \ | _ {\ mathrm {b}, p}}$

Stelling (verval van fouten). Als ${\ displaystyle \ | f \ | _ {\ mathrm {b}, p} <\ infty}$ met p < 2 dan

${\ displayStyle \ varepsilon [m] \ leq {\ frac {\ | f \ | _ {\ mathrm {b}, p}^{2}} {{\ frac {2} {p}}-1}} m. ^{1-{\ frac {2} {p}}}}$

en

${\ displayStyle \ varepsilon [m] = o \ links (m^{1-{\ frac {2} {p}}} \ rechts).}.$

Omgekeerd, als ${\ displayStyle \ varepsilon [m] = o \ links (m^{1-{\ frac {2} {p}}} \ rechts)}$ dan

${\ displaystyle \ | f \ | _ {\ mathrm {b}, q} <\ infty}$ voor enige q > p.

Niet-optimaliteit van Karhunen-Loève-bases

Om de verschillen tussen lineaire en niet-lineaire benaderingen verder te illustreren, bestuderen we de ontleding van een eenvoudige niet-Gaussiaanse willekeurige vector in een Karhunen-Loève-basis. Processen waarvan de realisaties een willekeurige vertaling hebben, zijn stationair. De basis van Karhunen - Loève is dan een Fourier -basis en we bestuderen de prestaties ervan. Overweeg een willekeurige vector om de analyse te vereenvoudigen Y[n] van grootte N dat is willekeurige shift -modulo N van een deterministisch signaal f[n] van nul gemiddeld

${\ displaystyle \ sum _ {n = 0}^{n-1} f [n] = 0}$

${\ displaystyle y [n] = f [(n-p) {\ bmod {n}}]}$

De willekeurige verschuiving P is uniform verdeeld over [0,N- 1]:

${\ displayStyle \ pr (p = p) = {\ frac {1} {n}}, \ qquad 0 \ leq p <n}$

Duidelijk

${\ displayStyle \ Mathbf {e} \ {y [n] \} = {\ frac {1} {n}} \ sum _ {p = 0}^{n-1} f [(n-p) {\ bmod { N}}] = 0}$

en

${\ displayStyle r [n, k] = \ mathbf {e} \ {y [n] y [k] \} = {\ frac {1} {n}} \ sum _ {p = 0}^{n- 1} f [(n-p) {\ bmod {n}}] f [(k-p) {\ bmod {n}}] = {\ frac {1} {n}} f \ theta {\ bar {f}} [ n-k], \ quad {\ bar {f}} [n] = f [-n]}$

Vandaar

${\ displaystyle r [n, k] = r_ {y} [n-k], \ qquad r_ {y} [k] = {\ frac {1} {n}} f \ theta {\ bar {f}} [k ]}$

Sinds r_Y is n periodiek, y is een cirkelvormige stationaire willekeurige vector. De covariantie -operator is een circulaire convolutie met R_Y en wordt daarom diagonaliseerd in de discrete Fourier Karhunen -Loève -basis

${\ displaystyle \ links \ {{\ frac {1} {\ sqrt {n}}} e^{i2 \ pi mn/n} \ rechts \} _ {0 \ leq m <n}.}.$

Het vermogensspectrum is Fourier -transformatie van R_Y:

${\ displaystyle p_ {y} [m] = {\ hat {r}} _ {y} [m] = {\ frac {1} {n}} \ links | {\ hat {f}} [m] \ rechts |^{2}}$

Voorbeeld: Overweeg een extreem geval waar ${\ displaystyle f [n] = \ delta [n]-\ delta [n-1]}$. Een hierboven vermelde stelling garandeert dat de Fourier Karhunen -Loève -basis een kleinere verwachte benaderingsfout produceert dan een canonieke basis van Diracs ${\ displaystyle \ links \ {g_ {m} [n] = \ delta [n-m] \ rechts \} _ {0 \ leq m <n}}$. We kennen inderdaad geen a priori de abscis van de niet-nulcoëfficiënten van Y, dus er is geen specifieke dirac die beter is aangepast om de benadering uit te voeren. Maar de Fourier -vectoren dekken de hele steun van Y en absorberen dus een deel van de signaalergie.

${\ displayStyle \ Mathbf {e} \ links \ {\ links | \ left \ langle y [n], {\ frac {1} {\ sqrt {n}}} e^{i2 \ pi mn/n} \ rechter \ rangle \ rechts | ^{2} \ rechts \} = p_ {y} [m] = {\ frac {4} {n}} \ sin ^{2} \ left ({\ frac {\ pi k} { N}} \ rechts)}$

Het selecteren van hogere frequentie Fourier-coëfficiënten levert een betere gemiddelde kwadratische benadering op dan het kiezen van een paar Dirac-vectoren om de benadering uit te voeren. De situatie is totaal anders voor niet-lineaire benaderingen. Als ${\ displaystyle f [n] = \ delta [n]-\ delta [n-1]}$ Dan is de discrete Fourier -basis extreem inefficiënt omdat f en daarom een ​​energie hebben die bijna uniform wordt verspreid onder alle Fourier -vectoren. Aangezien F daarentegen slechts twee niet-nul coëfficiënten heeft in de Dirac-basis, een niet-lineaire benadering van Y met M ≥ 2 geeft nul fout.^[6]

Hoofdcomponentanalyse

We hebben de stelling van Karhunen - Loève opgezet en een paar eigenschappen daarvan afgeleid. We hebben ook opgemerkt dat één hindernis in zijn toepassing de numerieke kosten waren om de eigenwaarden en eigenfuncties van zijn covariantie -operator te bepalen via de integrale vergelijking van de tweede soort Fredholm

${\ displaystyle \ int _ {a}^{b} k_ {x} (s, t) e_ {k} (s) \, ds = \ lambda _ {k} e_ {k} (t).}$

Wanneer echter toegepast op een discreet en eindig proces ${\ displayStyle \ Left (x_ {n} \ rechts) _ {n \ in \ {1, \ ldots, n \}}}$, het probleem heeft een veel eenvoudiger vorm en standaardalgebra kan worden gebruikt om de berekeningen uit te voeren.

Merk op dat een continu proces ook kan worden bemonsterd op N Punten op tijd om het probleem tot een eindige versie te verminderen.

We overwegen voortaan een willekeurig N-dimensionale vector ${\ displaystyle x = \ left (x_ {1} ~ x_ {2} ~ \ ldots ~ x_ {n} \ rechts)^{t}}$. Zoals hierboven vermeld, X zou kunnen bevatten N Monsters van een signaal, maar het kan veel meer representaties bevatten, afhankelijk van het toepassingsveld. Het kunnen bijvoorbeeld de antwoorden zijn op een enquête of economische gegevens in een econometrische analyse.

Zoals in de continue versie, nemen we dat aan X is gecentreerd, anders kunnen we het laten ${\ displaystyle x: = x- \ mu _ {x}}$ (waar ${\ displaystyle \ mu _ {x}}$ is de Gemiddelde vector van X) die gecentreerd is.

Laten we de procedure aanpassen aan de discrete zaak.

Covariantiematrix

Bedenk dat de belangrijkste implicatie en moeilijkheid van de KL -transformatie is het berekenen van de eigenvectoren van de lineaire operator die is geassocieerd met de covariantiefunctie, die worden gegeven door de oplossingen voor de hierboven geschreven integrale vergelijking.

Definieer σ, de covariantiematrix van X, als een N × N matrix wiens elementen worden gegeven door:

${\ DisplayStyle \ Sigma _ {iJ} = \ Mathbf {e} [x_ {i} x_ {j}], \ qquad \ forall i, j \ in \ {1, \ ldots, n \}}$

Het herschrijven van de bovenstaande integrale vergelijking om aan de discrete zaak te voldoen, merken we op dat deze verandert in:

${\ displaystyle \ sum _ {j = 1}^{n} \ sigma _ {ij} e_ {j} = \ lambda e_ {i} \ quad \ leftrightarrow \ quad \ sigma e = \ lambda e}$

waar ${\ displaystyle e = (e_ {1} ~ e_ {2} ~ \ ldots ~ e_ {n})^{t}}$ is een N-Dimensionale vector.

De integrale vergelijking vermindert dus tot een eenvoudig Matrix EigenValue -probleem, wat verklaart waarom de PCA zo'n breed domein van toepassingen heeft.

Aangezien σ een positieve definitieve symmetrische matrix is, bezit het een reeks orthonormale eigenvectoren die een basis vormen voor ${\ DisplayStyle \ Mathbb {r} ^{n}}$, en we schrijven ${\ displaystyle \ {\ lambda _ {i}, \ varphi _ {i} \} _ {i \ in \ {1, \ ldots, n \}}}$ Deze set eigenwaarden en overeenkomstige eigenvectoren, vermeld in afnemende waarden van λ_i. Laat ook Φ Wees de orthonormale matrix die bestaat uit deze eigenvectoren:

${\displaystyle {\begin{aligned}\Phi &:=\left(\varphi _{1}~\varphi _{2}~\ldots ~\varphi _{N}\right)^{T}\\\ Phi ^{t} \ phi & = i \ end {uitgelijnd}}}$

Hoofdcomponenttransformatie

Het blijft om de werkelijke KL -transformatie uit te voeren, de naam van de Hoofdcomponenttransformatie in dit geval. Bedenk dat de transformatie werd gevonden door het proces uit te breiden met betrekking tot de basis die wordt overspannen door de eigenvectoren van de covariantiefunctie. In dit geval hebben we daarom:

${\ displaystyle x = \ sum _ {i = 1}^{n} \ langle \ varphi _ {i}, x \ rangle \ varphi _ {i} = \ sum _ {i = 1}^{n} \ varphi _ {i}^{t} x \ varphi _ {i}}$

In een meer compacte vorm, de belangrijkste componenttransformatie van X wordt gedefinieerd door:

${\ displayStyle {\ begin {cases} y = \ phi ^{t} x \\ x = \ phi y \ end {cases}}}$

De i-th component van Y is ${\ displaystyle y_ {i} = \ varphi _ {i}^{t} x}$, de projectie van X Aan ${\ DisplayStyle \ Varphi _ {i}}$ en de inverse transformatie X = ΦY levert de uitbreiding van X op de ruimte overspanning door de ${\ DisplayStyle \ Varphi _ {i}}$:

${\ displaystyle x = \ sum _ {i = 1}^{n} y_ {i} \ varphi _ {i} = \ sum _ {i = 1}^{n} \ langle \ varphi _ _ {i}, x \ rangle \ varphi _ {i}}$

Net als in het continue geval kunnen we de dimensionaliteit van het probleem verminderen door de som bij sommigen af ​​te kappen ${\ displaystyle k \ in \ {1, \ ldots, n \}}$ zoals dat

${\ displayStyle {\ frac {\ sum _ {i = 1}^{k} \ lambda _ {i}} {\ sum _ {i = 1}^{n} \ lambda _ {i}}} \ geq \ alpha}$

waarbij α de verklaarde variantie -drempel is die we willen instellen.

We kunnen ook de dimensionaliteit verminderen door het gebruik van multilevel dominante eigenvectorschatting (MDEE).^[7]

Voorbeelden

Het Wiener -proces

Er zijn talloze equivalente karakteriseringen van de Wiener -proces dat is een wiskundige formalisering van Brownse beweging. Hier beschouwen we het als het gecentreerde standaard Gaussiaanse proces W_t met covariantiefunctie

${\ displaystyle k_ {w} (t, s) = \ operatorName {cov} (w_ {t}, w_ {s}) = \ min (s, t).}$

We beperken het tijdsdomein tot [a, b] = [0,1] zonder verlies van algemeenheid.

De eigenvectoren van de covariantie -kernel zijn gemakkelijk te bepalen. Dit zijn

${\ displaystyle e_ {k} (t) = {\ sqrt {2}} \ sin \ left (\ links (k-{\ tfrac {1} {2}} \ rechts) \ pi t \ rechts)}$

en de overeenkomstige eigenwaarden zijn

${\ displayStyle \ lambda _ {k} = {\ frac {1} {(k-{\ frac {1} {2}}) ^{2} \ pi ^{2}}}.}.$

Dit geeft de volgende weergave van het Wiener -proces:

Stelling. Er is een reeks {Z_i}_i van onafhankelijke Gaussiaanse willekeurige variabelen met gemiddelde nul en variantie 1 zodanig dat

${\ displaystyle w_ {t} = {\ sqrt {2}} \ sum _ {k = 1}^{\ infty} z_ {k} {\ frac {\ sin \ left (\ left (k-{\ frac { 1} {2}} \ rechts) \ pi t \ rechts)} {\ links (k-{\ frac {1} {2}} \ rechts) \ pi}}.}.$

Merk op dat deze weergave alleen geldig is voor ${\ displaystyle t \ in [0,1].}$ Met grotere intervallen zijn de stappen niet onafhankelijk. Zoals vermeld in de stelling, zit convergentie in de L² Norm en uniform int.

De Brownse brug

Evenzo de Brownse brug ${\ displaystyle b_ {t} = w_ {t} -tw_ {1}}$ wat een is stochastisch proces met covariantiefunctie

${\ displaystyle k_ {b} (t, s) = \ min (t, s) -TS}$

kan worden weergegeven als de serie

${\ displaystyle b_ {t} = \ sum _ {k = 1}^{\ infty} z_ {k} {\ frac {{\ sqrt {2}} \ sin (k \ pi t)} {k \ pi} }}$

Toepassingen

Adaptieve optiek Systemen gebruiken soms K-L-functies om de fase-informatie van golfkasten te reconstrueren (DAI 1996, JOSA A). Karhunen - Loève -uitbreiding is nauw verwant aan de Singuliere waarden ontbinding. De laatste heeft talloze toepassingen in beeldverwerking, radar, seismologie en dergelijke. Als iemand onafhankelijke vectorobservaties heeft van een vector gewaardeerd stochastisch proces, dan zijn de linkervormige vectoren dat maximale kans Schattingen van de ensemble KL -uitbreiding.

Toepassingen in signaalschatting en detectie

Detectie van een bekend continu signaal S(t)

In communicatie moeten we meestal beslissen of een signaal van een luidruchtig kanaal waardevolle informatie bevat. De volgende hypothese -testen worden gebruikt voor het detecteren van continu signaal s(t) van kanaaluitgang X(t), N(t) is de kanaalruis, die meestal wordt aangenomen dat nul gemiddeld Gaussiaans proces met correlatiefunctie wordt verondersteld ${\ displaystyle r_ {n} (t, s) = e [n (t) n (s)]}$

${\ DisplayStyle H: x (t) = n (t),}$

${\ displaystyle k: x (t) = n (t)+s (t), \ quad t \ in (0, t)}$

Signaaldetectie in witte ruis

Wanneer de kanaalruis wit is, is de correlatiefunctie

${\ displaystyle r_ {n} (t) = {\ tfrac {1} {2}} n_ {0} \ delta (t),}$

en het heeft een constante vermogensspectrumdichtheid. In fysiek praktisch kanaal is de ruiskracht eindig, dus:

${\ displaystyle s_ {n} (f) = {\ begin {cases} {\ frac {n_ {0}} {2}} & | f | <w \\ 0 & | f |> w \ end {cases}} }$

Dan is de ruiscorrelatiefunctie de SINC -functie met nullen bij ${\ displayStyle {\ frac {n} {2 \ oMega}}, n \ in \ mathbf {z}.}$ Omdat ze niet gecorreleerd en Gaussiaans zijn, zijn ze onafhankelijk. We kunnen dus monsters nemen van X(t) met tijdafstand

${\ displaystyle \ delta t = {\ frac {n} {2 \ oMega}} {\ text {binnen}} (0, '' t '').}.$

Laten ${\ displaystyle x_ {i} = x (i \, \ delta t)}$. We hebben er een totaal van ${\ displaystyle n = {\ frac {t} {\ delta t}} = t (2 \ oMega) = 2 \ Omega t}$ I.I.D -waarnemingen ${\ displaystyle \ {x_ {1}, x_ {2}, \ ldots, x_ {n} \}}$ Om de waarschijnlijkheids-ratio-test te ontwikkelen. Definieer signaal ${\ displaystyle s_ {i} = s (i \, \ delta t)}$, het probleem wordt,

${\ DisplayStyle H: x_ {i} = n_ {i},}$

${\ displaystyle k: x_ {i} = n_ {i}+s_ {i}, i = 1,2, \ ldots, n.}$

De log-waarschijnlijkheidsratio

${\ DisplayStyle {\ Mathcal {l}} ({\ underline {x}}) = \ log {\ frac {\ sum _ {i = 1}^{n} (2s_ {i} x_ {i} -s_ { i}^{2})} {2 \ sigma^{2}}} \ leftrightarrow \ delta t \ sum _ {i = 1}^{n} s_ {i} x_ {i} = \ sum _ {i = 1}^{n} s (i \, \ delta t) x (i \, \ delta t) \, \ delta t \ gtrless \ lambda _ {\ cdot} 2}$

Net zo t → 0, laten:

${\ displaystyle g = \ int _ {0}^{t} s (t) x (t) \, dt.}$

Dan G zijn de teststatistieken en de Neyman - Pearson optimale detector is

${\ displaystyle g ({\ underline {x}})> g_ {0} \ rightarrow k <g_ {0} \ rightarrow H.}$

Net zo G is Gaussiaans, we kunnen het karakteriseren door het gemiddelde en de afwijkingen ervan te vinden. Dan krijgen we

${\ displaystyle h: g \ sim n \ left (0, {\ tfrac {1} {2}} n_ {0} e \ rechts)}$

${\ displaystyle k: g \ sim n \ left (e, {\ tfrac {1} {2}} n_ {0} e \ rechts)}$

waar

${\ DisplayStyle \ Mathbf {e} = \ int _ {0}^{t} s^{2} (t) \, dt}$

is de signaalergie.

De valse alarmfout

${\ displaystyle \ alpha = \ int _ {g_ {0}}^{\ infty} n \ links (0, {\ tfrac {1} {2}} n_ {0} e \ rechts) \, dg \ rightarrow g_ {0} = {\ sqrt {{\ tfrac {1} {2}} n_ {0} e}} \ phi ^{-1} (1- \ alpha)}}$

En de kans op detectie:

${\ displaystyle \ beta = \ int _ {g_ {0}}^{\ infty} n \ links (e, {\ tfrac {1} {2}} n_ {0} e \ rechts) \, dg = 1- \Phi \left({\frac {G_{0}-E}{\sqrt {{\tfrac {1}{2}}N_{0}E}}}\right)=\Phi \left({\sqrt {\ frac {2e} {n_ {0}}}}}-\ phi ^{-1} (1- \ alpha) \ rechts),}$

waarbij φ de CDF is van standaard normale of Gaussiaanse, variabel.

Signaaldetectie in gekleurde ruis

Wanneer n (t) gekleurd is (gecorreleerd in de tijd) Gaussiaanse ruis met nulgemiddelde en covariantiefunctie ${\ displaystyle r_ {n} (t, s) = e [n (t) n (s)],}$ We kunnen onafhankelijke discrete observaties niet bemonsteren door de tijd gelijkmatig te versterken. In plaats daarvan kunnen we K - L -uitbreiding gebruiken om niet te correleren^[] het ruisproces en krijgen onafhankelijke Gaussiaanse observatie 'monsters'. De K - L -uitbreiding van N(t):

${\ displaystyle n (t) = \ sum _ {i = 1}^{\ infty} n_ {i} \ phi _ {i} (t), \ quad 0 <t <t,}$

waar ${\ displaystyle n_ {i} = \ int n (t) \ phi _ {i} (t) \, dt}$ en de orthonormale bases ${\ displaystyle \ {\ phi _ {i} {t} \}}$ worden gegenereerd door kernel ${\ displaystyle r_ {n} (t, s)}$, d.w.z. oplossing voor

${\ displayStyle \ int _ {0}^{t} r_ {n} (t, s) \ phi _ {i} (s) \, ds = \ lambda _ {i} \ phi _ _ {i} (t) , \ quad \ operatorName {var} [n_ {i}] = \ lambda _ {i}.}$

Doe de uitbreiding:

${\ displaystyle s (t) = \ sum _ {i = 1}^{\ infty} s_ {i} \ phi _ {i} (t),}$

waar ${\ displaystyle s_ {i} = \ int _ {0}^{t} s (t) \ phi _ {i} (t) \, dt}$, dan

${\ displaystyle x_ {i} = \ int _ {0}^{t} x (t) \ phi _ {i} (t) \, dt = n_ {i}}$

onder h en ${\ displaystyle n_ {i}+s_ {i}}$ onder K. laat ${\ displayStyle {\ overline {x}} = \ {x_ {1}, x_ {2}, \ dots \}}$, wij hebben

${\ displaystyle n_ {i}}$ zijn onafhankelijke Gaussiaanse R.V's met variantie ${\ DisplayStyle \ Lambda _ {i}}$

onder h: ${\ DisplayStyle \ {x_ {i} \}}$ zijn onafhankelijke Gaussiaanse R.V's.

${\ displaystyle f_ {h} [x (t) | 0 <t <t] = f_ {h} ({\ underline {x}}) = \ prod _ {i = 1}^{\ infty} {\ frac {1} {\ sqrt {2 \ pi \ lambda _ {i}}}}} \ exp \ left (-{\ frac {x_ {i}^{2}} {2 \ lambda _ {i}} \ rechter )}$

onder k: ${\ DisplayStyle \ {x_ {i} -s_ {i} \}}$ zijn onafhankelijke Gaussiaanse R.V's.

${\ displaystyle f_ {k} [x (t) \ mid 0 <t <t] = f_ {k} ({\ underline {x}}) = \ prod _ {i = 1}^{\ infty} {\ {\ frac {1} {\ sqrt {2 \ pi \ lambda _ {i}}}} \ exp \ left (-{\ frac {(x_ {i} -s_ {i})^{2}} {2 \ lambda _{ik rechts)}$

Daarom wordt de log-LR gegeven door

${\ DisplayStyle {\ Mathcal {l}} ({\ underline {x}}) = \ sum _ {i = 1}^{\ infty} {\ frac {2s_ {i} x_ {i} -s_ {i} ^{2}} {2 \ lambda _ {i}}}}$

en de optimale detector is

${\ displaystyle g = \ sum _ {i = 1}^{\ infty} s_ {i} x_ {i} \ lambda _ {i}> g_ {0} \ rightarrow k, <g_ {0} \ rightarrow H. }$

Definiëren

${\ displaystyle k (t) = \ sum _ {i = 1}^{\ infty} \ lambda _ {i} s_ {i} \ phi _ {i} (t), 0 <t <t,}$

dan ${\ displaystyle g = \ int _ {0}^{t} k (t) x (t) \, dt.}$

Hoe te vinden k(t)

Sinds

${\ displaystyle \ int _ {0}^{t} r_ {n} (t, s) k (s) \, ds = \ sum _ {i = 1}^{\ infty} \ lambda _ {i} s_ {i} \ int _ {0}^{t} r_ {n} (t, s) \ phi _ {i} (s) \, ds = \ sum _ {i = 1}^{\ infy} s_ { i} \ phi _ {i} (t) = s (t),}$

K (t) is de oplossing voor

${\ displaystyle \ int _ {0}^{t} r_ {n} (t, s) k (s) \, ds = s (t).}$

Als N(t) is wijdverstand stationair,

${\ displaystyle \ int _ {0}^{t} r_ {n} (t-s) k (s) \, ds = s (t),}$

die bekend staat als de Wiener - Hopf -vergelijking. De vergelijking kan worden opgelost door Fourier -transformatie te nemen, maar niet praktisch realiseerbaar omdat het oneindige spectrum ruimtelijke factorisatie nodig heeft. Een speciaal geval dat gemakkelijk te berekenen is k(t) is witte Gaussiaanse ruis.

${\ displayStyle \ int _ {0}^{t} {\ frac {n_ {0}} {2}} \ delta (t-s) k (s) \, ds = s (t) \ rightarrow k (t) = Cs (t), \ quad 0 <t <t.}$

De overeenkomstige impulsrespons is h(t) = k(T-t) = CS(T-t). Laten C= 1, dit is slechts het resultaat dat we in vorige sectie hebben aangekomen voor het detecteren van signaal in witte ruis.

Testdrempel voor Neyman -Pearson -detector

Omdat x (t) een Gaussiaans proces is,

${\ displaystyle g = \ int _ {0}^{t} k (t) x (t) \, dt,}$

is een Gaussiaanse willekeurige variabele die kan worden gekenmerkt door zijn gemiddelde en variantie.

${\ displayStyle {\ begin {uitgelijnd} \ mathbf {e} [g \ mid h] & = \ int _ {0}^{t} k (t) \ mathbf {e} [x (t) \ mid h] \, dt = 0 \\\ mathbf {e} [g \ mid K] & = \ int _ {0}^{t} k (t) \ mathbf {e} [x (t) \ mid k] \, dt = \ int _ {0}^{t} k (t) s (t) \, dt \ equiv \ rho \\\ mathbf {e} [g^{2} \ mid h] & = \ int _ { 0}^{t} \ int _ {0}^{t} k (t) k (s) r_ {n} (t, s) \, dt \, ds = \ int _ {0}^{t} K (t) \ links (\ int _ {0}^{t} k (s) r_ {n} (t, s) \, ds \ rechts) = \ int _ {0}^{t} k (t ) S (t) \, dt = \ rho \\\ operatorName {var} [g \ mid h] & = \ mathbf {e} [g^{2} \ mid h]-(\ mathbf {e} [g \ mid h])^{2} = \ rho \\\ mathbf {e} [g^{2} \ mid k] & = \ int _ {0}^{t} \ int _ {0}^{t } k (t) k (s) \ mathbf {e} [x (t) x (s)] \, dt \, ds = \ int _ {0}^{t} \ int _ {0}^{t } k (t) k (s) (r_ {n} (t, s) +s (t) s (s)) \, dt \, ds = \ rho +\ rho ^{2} \\ operatorName { var} [g \ mid k] & = \ mathbf {e} [g^{2} | k]-(\ mathbf {e} [g | k])^{2} = \ rho +\ rho^{2 }-\ rho ^{2} = \ rho \ end {uitgelijnd}}}$

Daarom verkrijgen we de verdelingen van H en K:

${\ displaystyle h: g \ sim n (0, \ rho)}$

${\ displaystyle k: g \ sim n (\ rho, \ rho)}$

De valse alarmfout is

${\ displaystyle \ alpha = \ int _ {g_ {0}}^{\ infty} n (0, \ rho) \, dg = 1- \ phi \ left ({\ frac {g_ {0}} {\ sqrt {\ rho}}} \ rechts).}$

Dus de testdrempel voor de optimale detector van Neyman -Pearson is

${\ displaystyle g_ {0} = {\ sqrt {\ rho}} \ phi ^{-1} (1- \ alpha).}.$

Zijn kracht van detectie is

${\displaystyle \beta =\int _{G_{0}}^{\infty }N(\rho ,\rho )\,dG=\Phi \left({\sqrt {\rho }}-\Phi ^{ -1} (1- \ alpha) \ rechts)}$

Wanneer de ruis het witte Gaussiaanse proces is, is het signaalvermogen

${\ displaystyle \ rho = \ int _ {0}^{t} k (t) s (t) \, dt = \ int _ {0}^{t} s (t)^{2} \, dt = E.}$

Het voorschrijven

Voor een soort gekleurde ruis is een typische praktijk om een ​​prewhittenend filter toe te voegen voor het gematchte filter om de gekleurde ruis in witte ruis te transformeren. N (t) is bijvoorbeeld een breed-sense stationair gekleurde ruis met correlatiefunctie

${\ displaystyle r_ {n} (\ tau) = {\ frac {bn_ {0}} {4}} e^{-b | \ tau |}}$

${\ displaystyle s_ {n} (f) = {\ frac {n_ {0}} {2 (1+({\ frac {w} {b}})^{2})}}}}$

De overdrachtsfunctie van het prewhittening -filter is

${\ displayStyle h (f) = 1+j {\ frac {w} {b}}.}$

Detectie van een Gaussiaans willekeurig signaal in Additieve witte Gaussiaanse ruis (AWGN)

Wanneer het signaal dat we van het lawaaierige kanaal willen detecteren, is ook willekeurig, bijvoorbeeld een wit Gaussiaans proces X(t), we kunnen nog steeds K - L -uitbreiding implementeren om een ​​onafhankelijke volgorde van observatie te krijgen. In dit geval wordt het detectieprobleem als volgt beschreven:

${\ DisplayStyle H_ {0}: y (t) = n (t)}$

${\ DisplayStyle H_ {1}: y (t) = n (t)+x (t), \ quad 0 <t <t.}$

X(t) is een willekeurig proces met de correlatiefunctie ${\ displaystyle r_ {x} (t, s) = e \ {x (t) x (s) \}}$

De K - L -uitbreiding van X(t) is

${\ displaystyle x (t) = \ sum _ {i = 1}^{\ infty} x_ {i} \ phi _ {i} (t),}$

waar

${\ displaystyle x_ {i} = \ int _ {0}^{t} x (t) \ phi _ {i} (t) \, dt}$

en ${\ DisplayStyle \ Phi _ {i} (t)}$ zijn oplossingen voor

${\ displaystyle \ int _ {0}^{t} r_ {x} (t, s) \ phi _ {i} (s) ds = \ lambda _ {i} \ phi _ {i} (t).}.$

Dus ${\ DisplayStyle x_ {i}}$'s zijn onafhankelijke volgorde van R.V's zonder gemiddelde en variantie ${\ DisplayStyle \ Lambda _ {i}}$. Uitbreiden Y(t) en N(t) door ${\ DisplayStyle \ Phi _ {i} (t)}$, we krijgen

${\ displaystyle y_ {i} = \ int _ {0}^{t} y (t) \ phi _ {i} (t) \, dt = \ int _ {0}^{t} [n (t) +X (t)] \ phi _ {i} (t) = n_ {i}+x_ {i},}$

waar

${\ displaystyle n_ {i} = \ int _ {0}^{t} n (t) \ phi _ {i} (t) \, dt.}$

Net zo N(t) is Gaussiaanse witte ruis, ${\ displaystyle n_ {i}}$'s zijn I.I.D -reeks van R.V met nulgemiddelde en variantie ${\ DisplayStyle {\ tfrac {1} {2}} n_ {0}}$, dan wordt het probleem als volgt vereenvoudigd,

${\ DisplayStyle H_ {0}: y_ {i} = n_ {i}}$

${\ displaystyle H_ {1}: y_ {i} = n_ {i}+x_ {i}}$

De optimale test van Neyman - Pearson:

${\displaystyle \Lambda ={\frac {f_{Y}\mid H_{1}}{f_{Y}\mid H_{0}}}=Ce^{-\sum _{i=1}^{\ infty }{\frac {y_{i}^{2}}{2}}{\frac {\lambda _{i}}{{\tfrac {1}{2}}N_{0}({\tfrac { 1} {2}} n_ {0}+\ lambda _ {i})}}},}$

Dus de log-waarschijnlijkheidsratio is

${\ displayStyle {\ Mathcal {l}} = \ ln (\ lambda) = k- \ sum _ {i = 1}^{\ infty} {\ tfrac {1} {2}} y_ {i}^{2 } {\ frac {\ lambda _ {i}} {{\ frac {n_ {0}} {2}} \ links ({\ frac {n_ {0}} {2}}+\ lambda _ {i} \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ {i} \ \ elf Rechtsaf)}}.}$

Sinds

${\ displayStyle {\ widehat {x}} _ {i} = {\ frac {\ lambda _ {i}} {{\ frac {n_ {0}} {2}} \ left ({\ frac {0 0 0 0 }} {2}}+\ lambda _ {i} \ rechts)}}}$

is slechts de minimumgemiddelde schatting van ${\ DisplayStyle x_ {i}}$ gegeven ${\ displaystyle y_ {i}}$'s,

${\ DisplayStyle {\ MathCal {l}} = K+{\ frac {1} {n_ {0}}} \ sum _ {i = 1}^{\ infty} y_ {i} {\ widehat {x}} _ {i}.}$

K - L -uitbreiding heeft de volgende eigenschap: if

${\ displaystyle f (t) = \ sum f_ {i} \ phi _ {i} (t), g (t) = \ sum g_ {i} \ phi _ {i} (t),}$

waar

${\ displaystyle f_ {i} = \ int _ {0}^{t} f (t) \ phi _ {i} (t) \, dt, \ quad g_ {i} = \ int _ {0}^{ T} g (t) \ phi _ {i} (t) \, dt.}$

dan

${\ displaystyle \ sum _ {i = 1}^{\ infty} f_ {i} g_ {i} = \ int _ {0}^{t} g (t) f (t) \, dt.}$

Dus laat

${\ displayStyle {\ widehat {x}} (t \ mid t) = \ sum _ {i = 1}^{\ infty} {\ widehat {x}} _ {i} \ phi _ {i} (t) , \ quad {\ mathcal {l}} = k+{\ frac {1} {n_ {0}}} \ int _ {0}^{t} y (t) {\ widehat {x}} (t \ midden T) \, dt.}$

Niet -causaal filter Q(t,s) kan worden gebruikt om de schatting door te krijgen

${\ displayStyle {\ widehat {x}} (t \ mid t) = \ int _ {0}^{t} q (t, s) y (s) \, ds.}$

Door orthogonaliteitsprincipe, Q(t,s) bevredigt

${\ displayStyle \ int _ {0}^{t} q (t, s) r_ {x} (s, t) \, ds+{\ tfrac {n_ {0}} {2}} q (t, \ lambda ) = R_ {x} (t, \ lambda), 0 <\ lambda <t, 0 <t <t.}$

Om praktische redenen is het echter noodzakelijk om het causale filter verder af te leiden h(t,s), waar h(t,s) = 0 voor s > t, om een ​​schatting te krijgen ${\ DisplayStyle {\ widehat {x}} (t \ mid t)}$. Specifiek,

${\ displaystyle q (t, s) = h (t, s)+h (s, t)-\ int _ {0}^{t} h (\ lambda, t) h (s, \ lambda) \, D \ lambda}$

Zie ook

• Hoofdcomponentanalyse
• Polynomiale chaos
• Reproduceren van kernel Hilbert -ruimte
• Mercer's stelling

Aantekeningen

Referenties

• Stark, Henry; Woods, John W. (1986). Waarschijnlijkheid, willekeurige processen en schattingstheorie voor ingenieurs. Prentice-Hall, Inc. ISBN 978-0-13-711706-2. Ol 21138080m.
• Ghanem, Roger; Spanos, Pol (1991). Stochastische eindige elementen: een spectrale benadering. Springer-Verlag. ISBN 978-0-387-97456-9. Ol 1865197m.
• Guikhman, I.; Skorokhod, A. (1977). Inleiding A la Théorie des Processus Aléatoires. Éditions mir.
• Simon, B. (1979). Functionele integratie en kwantumfysica. Academische pers.
• Karhunen, Kari (1947). "Über lineare Methoden in der WahrscheinlichKeitsrechnung". Ann. Acad. Sci. Fennicae. Ser. A. I. Math.-Phys. 37: 1–79.
• Loève, M. (1978). Waarschijnlijkheids theorie. Vol. II, 4e ed. Afgestudeerde teksten in wiskunde. Vol. 46. ​​Springer-Verlag. ISBN 978-0-387-90262-3.
• Dai, G. (1996). "Modale wave-front reconstructie met Zernike polynomen en Karhunen-Loeve-functies". Josa a. 13 (6): 1218. Bibcode:1996josaa..13.1218d. doen:10.1364/josaa.13.001218.
• Wu B., Zhu J., Najm F. (2005) "Een niet-parametrische benadering voor dynamische bereikschatting van niet-lineaire systemen". In Proceedings of Design Automation Conference (841-844) 2005
• Wu B., Zhu J., Najm F. (2006) "Dynamische bereikschatting". IEEE-transacties op computerondersteund ontwerp van geïntegreerde circuits en systemen, Vol. 25 Uitgave: 9 (1618–1636) 2006
• Jorgensen, Palle E. T.; Song, Myung-Sin (2007). "Entropiecodering, Hilbert Space en Karhunen - Loeve transformeert". Journal of Mathematical Physics. 48 (10): 103503. arxiv:Math-ph/0701056. Bibcode:2007jmp .... 48J3503J. doen:10.1063/1.2793569. S2CID 17039075.

Externe links

• Wisica Karhunenloevedecompositie functie.
• E161: Computerbeeldverwerking en -analyse Opmerkingen door PR.Ruye Wang op Harvey Mudd College [1]