Rayleigh quotiënt

In wiskunde, de Rayleigh quotiënt^[1] (/ˈreɪ.li/) voor een bepaald complex Hermitiaanse matrix M en niet -nul vector x is gedefinieerd als:^[2]^[3]

{\ displaystyle r (m, x) = {x^{*} mx \ over x^{*} x}.}

Voor echte matrices en vectoren vermindert de toestand van Hermitiaan tot die van zijn symmetrisch, en de conjugaat transponeren ${\ displaystyle x^{*}}$ tot het gebruikelijke omzetten ${\ displaystyle x '}$ . Let daar op ${\ displaystyle r (m, cx) = r (m, x)}$ voor elke niet-nul scalair c. Bedenk dat een Hermitiaanse (of echte symmetrische) matrix is diagonaliseerbaar met alleen echte eigenwaarden. Er kan worden aangetoond dat het Rayleigh -quotiënt voor een bepaalde matrix zijn minimumwaarde bereikt ${\ DisplayStyle \ Lambda _ {\ min}}$ (het kleinste eigenwaarde van M) wanneer x is ${\ displaystyle v _ {\ min}}$ (de overeenkomstige eigenvector).^[4] Evenzo, ${\ displaystyle r (m, x) \ leq \ lambda _ {\ max}}$ en ${\ displaystyle r (m, v _ {\ max}) = \ lambda _ {\ max}}$ .

Het Rayleigh -quotiënt wordt gebruikt in de min-max stelling om exacte waarden van alle eigenwaarden te krijgen. Het wordt ook gebruikt in eigenwaarde -algoritmen (zoals Rayleigh quotiënt iteratie) om een eigenwaarde -benadering te verkrijgen van een eigenvectorbenadering.

Het bereik van het Rayleigh -quotiënt (voor elke matrix, niet noodzakelijkerwijs Hermitianus) wordt een numeriek bereik en bevat zijn spectrum. Wanneer de matrix Hermitiaans is, is de numerieke straal gelijk aan de spectrale norm. Nog steeds in functionele analyse, ${\ DisplayStyle \ Lambda _ {\ max}}$ staat bekend als de spectrale straal. In de context van C*-algebrazes of algebraïsche kwantummechanica, de functie die tot M associeert het quotiënt van Rayleigh - Ritz R(M,x) voor een vast x en M Variërend door de algebra zou worden aangeduid als "vectortoestand" van de algebra.

In kwantummechanica, het Rayleigh -quotiënt geeft het Verwachtingswaarde van de waarneembare die overeenkomt met de operator M voor een systeem waarvan de staat wordt gegeven door x.

Als we de complexe matrix repareren M, dan de resulterende Rayleigh Quotient Map (beschouwd als een functie van x) Bepaalt volledig M via de polarisatie -identiteit; Inderdaad, dit blijft waar, zelfs als we het toestaan M niet-Hermitiaans zijn. (Als we echter het veld van scalars tot de reële getallen beperken, bepaalt het Rayleigh -quotiënt alleen de symmetrisch deel van M.)

Bounds voor Hermitian M

Zoals vermeld in de inleiding, voor elke vector x, men heeft ${\ displaystyle r (m, x) \ in \ links [\ lambda _ {\ min}, \ lambda _ {\ max} \ rechts]}$ , waar ${\ displaystyle \ lambda _ {\ min}, \ lambda _ {\ max}}$ zijn respectievelijk de kleinste en grootste eigenwaarden van ${\ displaystyle m}$ . Dit is onmiddellijk na het opmerken dat het Rayleigh -quotiënt een gewogen gemiddelde is van eigenwaarden van M:

{\ displaystyle r (m, x) = {x^{*} mx \ over x^{*} x} = {\ frac {\ sum _ {i = 1}^{n} \ lambda _ {i} y_ {i}^{2}} {\ sum _ {i = 1}^{n} y_ {i}^{2}}}}

waar

{\ displaystyle (\ lambda _ {i}, v_ {i})}

is de

{\ displaystyle i}

-th eigenpair na orthonormalisatie en

{\ displaystyle y_ {i} = v_ {i}^{*} x}

is de

{\ displaystyle i}

de coördinaat van x in de eigenbasis. Het is dan gemakkelijk om te verifiëren dat de grenzen worden bereikt bij de overeenkomstige eigenvectoren

{\ displaystyle v _ {\ min}, v _ {\ max}}

.

Het feit dat het quotiënt een gewogen gemiddelde van de eigenwaarden is, kan worden gebruikt om de tweede, de derde, ... grootste eigenwaarden te identificeren. Laten ${\ displaystyle \ lambda _ {\ max} = \ lambda _ {1} \ geq \ lambda _ {2} \ geq \ cdots \ geq \ lambda _ {n} = \ lambda _ {\ min}}$ Wees de eigenwaarden in afnemende volgorde. Als ${\ displaystyle n = 2}$ en ${\ displaystyle x}$ is beperkt om orthogonaal te zijn ${\ displaystyle v_ {1}}$ , in welk geval ${\ displaystyle y_ {1} = v_ {1}^{*} x = 0}$ , dan ${\ displaystyle r (m, x)}$ heeft maximale waarde ${\ DisplayStyle \ Lambda _ {2}}$ , die wordt bereikt wanneer ${\ displaystyle x = v_ {2}}$ .

Speciaal geval van covariantiematrices

Een empirisch covariantiematrix ${\ displaystyle m}$ kan worden weergegeven als het product ${\ displaystyle a'a}$ van de Gegevensmatrix ${\ displaystyle a}$ vooraf gekweekt door zijn transponeren ${\ displaystyle a '}$ . Een positieve semi-definitieve matrix zijn, ${\ displaystyle m}$ heeft niet-negatieve eigenwaarden en orthogonale (of orthogonaliseerbare) eigenvectoren, die als volgt kunnen worden aangetoond.

Ten eerste dat de eigenwaarden ${\ DisplayStyle \ Lambda _ {i}}$ zijn niet-negatief:

{\ displaystyle {\ begin {uitgelijnd} & mv_ {i} = a'av_ {i} = \ lambda _ {i} v_ {i} \\\ rightarrow {} & v_ {i} 'a'av_ {i} = v_ {i}'\lambda _{i}v_{i}\\\Rightarrow {}&\left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{ i} \ rechts \ |^{2} \\\ rightarrow {} & \ lambda _ {i} = {\ frac {\ links \ | av_ {i} \ rechts \ |^{2}} {\ links \ | v_ {i} \ rechts \ |^{2}}}} \ geq 0. \ end {uitgelijnd}}}

Ten tweede, dat de eigenvectoren ${\ displaystyle v_ {i}}$ zijn orthogonaal voor elkaar:

{\ displaystyle {\ begin {aligned} & mv_ {i} = \ lambda _ {i} v_ {i} \\\ rightarrow {} & v_ {j} 'mv_ {i} = v_ {j}' \ lambda _ _ _ _ {i _ _ _ _ {i _ _ _ {i } v_ {i} \\\ rightarrow {} & \ left (mv_ {j} \ rechts) 'v_ {i} = \ lambda _ {i} v_ {j}' v_ {i} \\ rightarrow {} & \ lambda _ {j} v_ {j} 'v_ {i} = \ lambda _ {i} v_ {j}' v_ {i} \\\ rightarrow {} & \ left (\ lambda _ {j}-\ lambda _ {i} \ rechts) v_ {j} 'v_ {i} = 0 \\\ rightarrow {} & v_ {j}' v_ {i} = 0 \ end {uitgelijnd}}}}

Als de eigenwaarden verschillen - in het geval van veelheid, kan de basis orthogonaliseerd zijn.

Om nu vast te stellen dat het Rayleigh -quotiënt door de eigenvector wordt gemaximaliseerd met de grootste eigenwaarde, overweeg dan om een willekeurige vector te ontbinden ${\ displaystyle x}$ Op basis van de eigenvectoren ${\ displaystyle v_ {i}}$ :

{\ displaystyle x = \ sum _ {i = 1}^{n} \ alpha _ {i} v_ {i},}

waar

{\ displaystyle \ alpha _ {i} = {\ frac {x'v_ {i}} {v_ {i} 'v_ {i}}} = {\ frac {\ langle x, v_ {i} \ rangle} { \ links \ | v_ {i} \ rechts \ |^{2}}}}

is de coördinaat van

{\ displaystyle x}

orthogonaal geprojecteerd op

{\ displaystyle v_ {i}}

. Daarom hebben we:

{\ displayStyle {\ begin {uitgelijnd} r (m, x) & = {\ frac {x'a'ax} {x'x}} \\ & = {\ frac {{\ bigl (} \ sum _ { j = 1}^{n} \ alpha _ {j} v_ {j} {\ bigr)} '\ links (a'a \ rechts) {\ bigl (} \ sum _ {i = 1}^{n} \ alpha _ {i} v_ {i} {\ bigr)}} {{\ bigl (} \ sum _ {j = 1}^{n} \ alpha _ {j} v_ {j} {\ bigr)} ' {\ Bigl (} \ sum _ {i = 1}^{n} \ alpha _ {i} v_ {i} {\ bigr)}}}}} \\ & = {\ frac {{\ bigl (} \ sum _ {j = 1}^{n} \ alpha _ {j} v_ {j} {\ bigr)} '{\ bigl (} \ sum _ {i = 1}^{n} \ alpha _ {i} (a 'A) v_ {i} {\ bigr)}} {{\ bigl (} \ sum _ {i = 1}^{n} \ alpha _ {i}^{2} {v_ {i}}' {v_ {i}} {\ bigr)}}}} \\ & = {\ frac {{\ bigl (} \ sum _ {j = 1}^{n} \ alpha _ {j} v_ {j} {\ bigr) } '{\ Bigl (} \ sum _ {i = 1}^{n} \ alpha _ {i} \ lambda _ {i} v_ {i} {\ bigr)}}} {{{\ bigl (} \ sum _ {i = 1}^{n} \ alpha _ {i}^{2} \ | {v_ {i}} \ |^{2} {\ bigr)}}} \ end {uitlijnd}}}}

welke, door ortonormaliteit van de eigenvectoren wordt:

{\ displayStyle {\ begin {uitgelijnd} r (m, x) & = {\ frac {\ sum _ {i = 1}^{n} \ alpha _ {i}^{2} \ lambda _ {i}} {\ sum _ {i = 1}^{n} \ alpha _ {i}^{2}}}} \\ & = \ sum _ {i = 1}^{n} \ lambda _ {i} {\ frac {) {n} \ lambda _ {i} {\ frac {(x'v_ {i})^{2}} {(x'x)}} \ end {uitgelijnd}}}}

De laatste weergave stelt vast dat het Rayleigh Quotient de som is van de vierkante cosinus van de hoeken gevormd door de vector ${\ displaystyle x}$ en elke eigenvector ${\ displaystyle v_ {i}}$ , gewogen door overeenkomstige eigenwaarden.

Als een vector ${\ displaystyle x}$ maximaliseren ${\ displaystyle r (m, x)}$ , dan elk niet-nul scalair veelvoud ${\ displaystyle kx}$ Maximaliseert ook ${\ displaystyle r}$ , dus het probleem kan worden gereduceerd tot de Lagrange -probleem van maximaliseren ${\ textstyle \ sum _ {i = 1}^{n} \ alpha _ {i}^{2} \ lambda _ {i}}$ onder de beperking dat ${\ textstyle \ sum _ {i = 1}^{n} \ alpha _ {i}^{2} = 1}$ .

Definiëren: ${\ displaystyle \ beta _ {i} = \ alpha _ {i}^{2}}$ . Dit wordt dan een lineair programma, die altijd zijn maximum bereikt op een van de hoeken van het domein. Een maximumpunt zal hebben ${\ displaystyle \ alpha _ {1} = \ pm 1}$ en ${\ displaystyle \ alpha _ {i} = 0}$ voor iedereen ${\ DisplayStyle i> 1}$ (Wanneer de eigenwaarden worden besteld door afnemende grootte).

Aldus wordt het Rayleigh -quotiënt gemaximaliseerd door de eigenvector met de grootste eigenwaarde.

Formulering met behulp van Lagrange -multiplicatoren

Als alternatief kan dit resultaat worden bereikt door de methode van Lagrange -vermenigvuldigers. Het eerste deel is om aan te tonen dat het quotiënt constant is onder schalen ${\ displaystyle x \ to cx}$ , waar ${\ displaystyle c}$ is een scalair

{\ displayStyle r (m, cx) = {\ frac {(cx)^{*} mcx} {(cx)^{*} cx}} = {\ frac {c^{*} c} {c^{ *} c}} {\ frac {x^{*} mx} {x^{*} x}} = r (m, x).}

Vanwege deze invariantie is het voldoende om het speciale geval te bestuderen ${\ displaystyle \ | x \ |^{2} = x^{t} x = 1}$ . Het probleem is dan om de kritieke punten van de functie

{\ displaystyle r (m, x) = x^{\ mathsf {t}} mx,}

onderworpen aan de beperking

{\ displaystyle \ | x \ |^{2} = x^{t} x = 1.}

Met andere woorden, het is om de kritieke punten te vinden van

{\ DisplayStyle {\ Mathcal {l}} (x) = x^{\ Mathsf {t}} mx- \ lambda \ left (x^{\ mathsf {t}} x-1 \ rechts),}

waar

{\ DisplayStyle \ Lambda}

is een Lagrange -multiplier. De stationaire punten van

{\ DisplayStyle {\ Mathcal {l}} (x)}

optreden bij

{\ displayStyle {\ begin {uitgelijnd} & {\ frac {d {\ mathcal {l}} (x)} {dx}} = 0 \\\ rightarrow {} & 2x^{\ mathsf {t}} m-2 \ lambda x^{\ mathsf {t}} = 0 \\\ rightarrow {} & 2mx-2 \ lambda x = 0 {\ text {(de transponering van beide zijden en merkt op dat m is Hermitian)}}}}}}} \\\\ Rightarrow {} & mx = \ lambda x \ end {uitgelijnd}}}

en

\therefore R(M,x)={\frac {x^{\mathsf {T}}Mx}{x^{\mathsf {T}}x}}=\lambda {\frac {x^{ \ mathsf {t}} x} {x^{\ mathsf {t}} x}} = \ lambda.

Daarom de eigenvectoren ${\ displaystyle x_ {1}, \ ldots, x_ {n}}$ van ${\ displaystyle m}$ zijn de kritieke punten van het Rayleigh -quotiënt en hun bijbehorende eigenwaarden ${\ displaystyle \ lambda _ {1}, \ ldots, \ lambda _ {n}}$ zijn de stationaire waarden van ${\ DisplayStyle {\ Mathcal {l}}}$ . Deze eigenschap is de basis voor Analyse van de belangrijkste componenten en canonieke correlatie.

Gebruik in de theorie van Sturm - Liouville

Sturm - Liouville Theory betreft de actie van de lineaire operator

{\ displaystyle l (y) = {\ frac {1} {w (x)}} \ left (-{\ frac {d} {dx}} \ links [p (x) {\ frac {dy} {dx }} \ rechts]+q (x) y \ rechts)}

op de Innerlijke productruimte gedefinieerd door

{\ displayStyle \ langle {y_ {1}, y_ {2}} \ rangle = \ int _ {a}^{b} w (x) y_ {1} (x) y_ {2} (x) \, dx }

van functies die voldoen aan sommige gespecificeerd grensvoorwaarden Bij a en b. In dit geval is het Rayleigh -quotiënt

{\ displayStyle {\ frac {\ langle {y, ly} \ rangle} {\ langle {y, y} \ rangle}} = {\ frac {\ int _ {a}^{b} y (x) \ liet ) {a}^{b} {w (x) y (x)^{2}} dx}}.}

Dit wordt soms gepresenteerd in een equivalente vorm, verkregen door de integraal in de teller te scheiden en te gebruiken Integratie door onderdelen:

{\ displayStyle {\ begin {uitgelijnd} {\ frac {\ langle {y, ly} \ rangle} {\ langle {y, y} \ rangle}} & = {\ frac {\ left \ {\ int _ {a }^{b} y (x) \ links (-{\ frac {d} {dx}} \ links [p (x) y '(x) \ rechts] \ rechts) dx \ rechts \}+\ links \ {\ int _ {a}^{b} {q (x) y (x)^{2}} \, dx \ rechts \}} {\ int _ {a}^{b} {w (x) y (x)^{2}} \, dx}}} \\ & = {\ frac {\ links \ {\ left.-y (x) \ links [p (x) y '(x) \ rechts] \ rechts | _ {a}^{b} \ rechts \}+\ links \ {\ int _ {a}^{b} y '(x) \ links [p (x) y' (x) \ rechts] \, dx \ rechts \}+\ links \ {\ int _ {a}^{b} {q (x) y (x)^{2}} \, dx \ rechts \}} {\ int _ {a}^ {b} w (x) y (x)^{2} \, dx}}} \\ & = {\ frac {\ links \ {\ left.-p (x) y (x) y '(x) \ rechts | _ {a}^{b} \ rechts \}+\ links \ {\ int _ {a}^{b} \ links [p (x) y '(x)^{2}+q (x) y (x)^{2} \ rechts] \, dx \ rechts \}} {\ int _ {a}^{b} {w (x) y (x)^{2}} \, dx}}. \ end {uitgelijnd}}}

Generalisaties

Voor een bepaald paar (A, B) matrices en een gegeven niet-nul vector x, de Gegeneraliseerd Rayleigh Quotient is gedefinieerd als: ${\ displaystyle r (a, b; x): = {\ frac {x^{*} ax} {x^{*} bx}}.}.$ Het gegeneraliseerde Rayleigh -quotiënt kan worden gereduceerd tot het Rayleigh -quotiënt ${\ displaystyle r (d, c^{*} x)}$ Door de transformatie ${\ displaystyle d = c^{-1} a {c^{*}}^{-1}}$ waar ${\ displaystyle cc^{*}}$ is de Cholesky -ontleding van de Hermitiaanse positieve-definitieve matrix B.
Voor een bepaald paar (x, y) van niet-nul vectoren en een gegeven Hermitiaanse matrix H, de Gegeneraliseerd Rayleigh Quotient kan worden gedefinieerd als: ${\ displayStyle r (h; x, y): = {\ frac {y^{*} hx} {\ sqrt {y^{*} y \ cdot x^{*} x}}}}$ die samenvalt met R(H,x) wanneer x=y. In de kwantummechanica wordt deze hoeveelheid een "matrixelement" of soms een "overgangsamplitude" genoemd.

Zie ook

Referenties

^ Ook bekend als de Rayleigh -Ritz -verhouding; genoemd naar Walther Ritz en Lord Rayleigh.
^ Horn, R. A.; Johnson, C. A. (1985). Matrixanalyse. Cambridge University Press. pp. 176–180. ISBN 0-521-30586-1.
^ Parlett, B. N. (1998). Het symmetrische eigenwaardeprobleem. Klassiekers in toegepaste wiskunde. SIAM. ISBN 0-89871-402-8.
^ Costin, Rodica D. (2013). "Midterm -aantekeningen" (PDF). Wiskunde 5102 Lineaire wiskunde in oneindige dimensies, Lecture Notes. De Ohio State University.

Verder lezen

Shi Yu, Léon-Charles TranchEvent, Bart Moor, Yves Moreau, Op kernel gebaseerde datafusie voor machine learning: methoden en toepassingen in bioinformatica en tekst mining, Ch.2, Springer, 2011.

[1] Ook bekend als de Rayleigh -Ritz -verhouding; genoemd naar Walther Ritz en Lord Rayleigh.

[2] Horn, R. A.; Johnson, C. A. (1985). Matrixanalyse. Cambridge University Press. pp. 176–180. ISBN 0-521-30586-1.

[3] Parlett, B. N. (1998). Het symmetrische eigenwaardeprobleem. Klassiekers in toegepaste wiskunde. SIAM. ISBN 0-89871-402-8.

[4] Costin, Rodica D. (2013). "Midterm -aantekeningen" (PDF). Wiskunde 5102 Lineaire wiskunde in oneindige dimensies, Lecture Notes. De Ohio State University.

[1]

[2]

[3]

[4]