Lineaire discriminerende analyse

Lineaire discriminerende analyse (LDA), Normale discriminerende analyse (NDA), of Discriminerende functieanalyse is een generalisatie van Fisher's lineaire discriminant, een methode die wordt gebruikt in statistieken en andere velden, om een lineaire combinatie van functies die twee of meer klassen van objecten of gebeurtenissen kenmerken of scheidt. De resulterende combinatie kan worden gebruikt als een lineaire classificator, of, vaker, voor dimensionaliteitsvermindering voor later classificatie.

LDA is nauw verwant aan Variantieanalyse (ANOVA) en regressie analyse, die ook proberen er een uit te drukken afhankelijke variabele als een lineaire combinatie van andere kenmerken of metingen.^[1][2] ANOVA gebruikt echter categorisch onafhankelijke variabelen en een continu afhankelijke variabele, terwijl discriminerende analyse continu is onafhankelijke variabelen en een categorische afhankelijke variabele (d.w.z. het klassenlabel).^[3] Logistieke regressie en Probitregressie lijken meer op LDA dan ANOVA, omdat ze ook een categorische variabele verklaren door de waarden van continue onafhankelijke variabelen. Deze andere methoden hebben de voorkeur in toepassingen waar het niet redelijk is om aan te nemen dat de onafhankelijke variabelen normaal worden verdeeld, wat een fundamentele veronderstelling van de LDA -methode is.

LDA is ook nauw verwant aan Hoofdcomponentanalyse (PCA) en factoren analyse Daarin zoeken ze allebei naar lineaire combinaties van variabelen die de gegevens het beste verklaren.^[4] LDA probeert expliciet het verschil tussen de gegevensklassen te modelleren. PCA daarentegen houdt geen rekening met enig verschil in klasse en factoranalyse bouwt de functiecombinaties op op basis van verschillen in plaats van overeenkomsten. Discriminerende analyse verschilt ook van factoranalyse, omdat het geen onderlinge afhankelijkheidstechniek is: een onderscheid tussen onafhankelijke variabelen en afhankelijke variabelen (ook wel criteriumvariabelen genoemd) moet worden gemaakt.

LDA werkt wanneer de metingen die worden gedaan op onafhankelijke variabelen voor elke observatie continue hoeveelheden zijn. Bij het omgaan met categorische onafhankelijke variabelen is de equivalente techniek discriminerende correspondentieanalyse.^[5][6]

Discriminerende analyse wordt gebruikt wanneer groepen a priori bekend zijn (in tegenstelling tot in clusteranalyse). Elk geval moet een score hebben op een of meer kwantitatieve voorspellende maatregelen en een score op een groepsmaat.^[7] In eenvoudige bewoordingen is de discriminerende functieanalyse classificatie - het distribueren van dingen in groepen, klassen of categorieën van hetzelfde type.

Geschiedenis

Het origineel dichotoom Discriminerende analyse is ontwikkeld door SIR Ronald Fisher in 1936.^[8] Het is anders dan een ANOVA of Manova, die wordt gebruikt om één (ANOVA) of meerdere (MANOVA) continue afhankelijke variabelen te voorspellen door een of meer onafhankelijke categorische variabelen. Discriminerende functieanalyse is nuttig bij het bepalen of een set variabelen effectief is bij het voorspellen van het lidmaatschap van de categorie.^[9]

LDA voor twee klassen

Overweeg een reeks observaties ${\ DisplayStyle {\ vec {x}}}$ (Ook ook functies, attributen, variabelen of metingen genoemd) voor elk monster van een object of gebeurtenis met bekende klasse ${\ displaystyle y}$. Deze set monsters wordt de trainingsset. Het classificatieprobleem is dan om een ​​goede voorspeller voor de klas te vinden ${\ displaystyle y}$ van een steekproef van dezelfde verdeling (niet noodzakelijkerwijs van de trainingsset) die alleen een observatie kreeg ${\ DisplayStyle {\ vec {x}}}$.^{[10]: 338}

LDA benadert het probleem door aan te nemen dat de voorwaardelijke waarschijnlijkheidsdichtheidsfuncties ${\ displaystyle p ({\ vec {x}} | y = 0)}$ en ${\ displaystyle p ({\ vec {x}} | y = 1)}$ zijn beide de normale verdeling met gemiddelde en covariantie parameters ${\ displayStyle \ left ({\ vec {\ mu}} _ {0}, \ sigma _ {0} \ rechts)}$ en ${\ displayStyle \ left ({\ vec {\ mu}} _ {1}, \ sigma _ {1} \ rechts)}$, respectievelijk. Onder deze veronderstelling, de Bayes optimale oplossing is om punten te voorspellen als zijnde van de tweede klasse als het logboek van de waarschijnlijkheidsratio's groter is dan sommige drempel T, zodat: dat:

${\ displaystyle ({\ vec {x}}-{\ vec {\ mu}} _ {0})^{t} \ sigma _ {0}^{-1} ({\ vec {x}}-{ \ vec {\ mu}}} _ {0})+\ ln | \ sigma _ {0} |-({\ vec {x}}-{\ vec {\ mu}}} _ {1})^{t} \ Sigma _ {1}^{-1} ({\ vec {x}}-{\ vec {\ mu}} _ {1})-\ ln | \ sigma _ {1} | \> \ t}$

Zonder verdere veronderstellingen wordt de resulterende classificator aangeduid als kwadratische discriminerende analyse (QDA).

LDA maakt in plaats daarvan de extra vereenvoudiging homosedasticiteit veronderstelling (d.w.z. dat de klassencovarianties identiek zijn, zo ${\ displaystyle \ sigma _ {0} = \ sigma _ {1} = \ sigma}$) en dat de covarianties de volledige rang hebben. In dit geval annuleren verschillende voorwaarden:

${\ displayStyle {\ vec {x}}^{t} \ sigma _ {0}^{-1} {\ vec {x}} = {\ vec {x}}^{t} \ sigma _ {1} ^{-1} {\ vec {x}}}$

${\ displayStyle {\ vec {x}}^{t} {\ sigma _ {i}}^{-1} {\ vec {\ mu}} _ {i} = {{{\ vec {\ mu}} _ _ {i}}^{t} {\ sigma _ {i}}^{-1} {\ vec {x}}}$ omdat ${\ DisplayStyle \ Sigma _ {i}}$ is Hermitiaans

en het bovenstaande beslissingscriterium wordt een drempel voor de punt product

${\ DisplayStyle {\ vec {w}} \ cdot {\ vec {x}}> c}$

Voor een drempelconstante c, waar

${\ displayStyle {\ vec {w}} = \ sigma ^{-1} ({\ vec {\ mu}} _ {1}-{\ vec {\ mu}}} _ {0})}$

${\ displayStyle c = {\ vec {w}} \ cdot {\ frac {1} {2}} ({\ vec {\ mu}} _ {1}+{\ vec {\ mu}} _ _ {0} _ {0} _ {0}} _ {0} )}$

Dit betekent dat het criterium van een input ${\ DisplayStyle {\ vec {x}}}$ In een klas zijn ${\ displaystyle y}$ is puur een functie van deze lineaire combinatie van de bekende waarnemingen.

Het is vaak nuttig om deze conclusie in geometrische termen te zien: het criterium van een input ${\ DisplayStyle {\ vec {x}}}$ In een klas zijn ${\ displaystyle y}$ is puur een functie van projectie van multidimensionale space-punt ${\ DisplayStyle {\ vec {x}}}$ op vector ${\ DisplayStyle {\ vec {w}}}$ (dus beschouwen we alleen de richting). Met andere woorden, de observatie behoort tot ${\ displaystyle y}$ Als het overeenkomt ${\ DisplayStyle {\ vec {x}}}$ bevindt zich aan een bepaalde kant van een hyperplane loodrecht op ${\ DisplayStyle {\ vec {w}}}$. De locatie van het vlak wordt gedefinieerd door de drempel c.

Aannames

De veronderstellingen van discriminerende analyse zijn dezelfde als die voor MANOVA. De analyse is vrij gevoelig voor uitbijters en de grootte van de kleinste groep moet groter zijn dan het aantal voorspellende variabelen.^[7]

• Multivariate normaliteit: Onafhankelijke variabelen zijn normaal voor elk niveau van de groepsvariabele.^[9][7]
• Homogeniteit van variantie/covariantie (homosedasticiteit): Varianties tussen groepsvariabelen zijn hetzelfde over niveaus van voorspellers. Kan worden getest met Box's M Statistiek.^[9] Er is echter gesuggereerd dat lineaire discriminerende analyse wordt gebruikt wanneer covarianties gelijk zijn, en dat kwadratische discriminerende analyse Kan worden gebruikt wanneer covarianties niet gelijk zijn.^[7]
• Multicollineariteit: Voorspellende kracht kan afnemen met een verhoogde correlatie tussen voorspellende variabelen.^[7]
• Onafhankelijkheid: Deelnemers worden aangenomen dat ze willekeurig worden bemonsterd, en de score van een deelnemer op één variabele wordt verondersteld onafhankelijk te zijn van scores op die variabele voor alle andere deelnemers.^[9][7]

Er is gesuggereerd dat discriminerende analyse relatief robuust is voor kleine schendingen van deze veronderstellingen,^[11] en er is ook aangetoond dat discriminerende analyse nog steeds betrouwbaar kan zijn bij het gebruik van dichotome variabelen (waarbij multivariate normaliteit vaak wordt geschonden).^[12]

Discriminerende functies

Discriminant -analyse werkt door een of meer lineaire combinaties van voorspellers te maken, waardoor een nieuw ontstaat Latente variabele Voor elke functie. Deze functies worden discriminerende functies genoemd. Het aantal mogelijk functies is ook ${\ displaystyle n_ {g} -1}$ waar ${\ displaystyle n_ {g}}$ = Aantal groepen, of ${\ displaystyle p}$ (het aantal voorspellers), afhankelijk van welke kleiner is. De eerste gemaakte functie maximaliseert de verschillen tussen groepen op die functie. De tweede functie maximaliseert verschillen op die functie, maar mag ook niet worden gecorreleerd met de vorige functie. Dit gaat door met daaropvolgende functies met de vereiste dat de nieuwe functie niet wordt gecorreleerd met een van de vorige functies.

Gegeven groep ${\ displaystyle j}$, met ${\ DisplayStyle \ Mathbb {r} _ {j}}$ Sets van voorbeeldruimte, er is een discriminerende regel zodanig dat als ${\ displaystyle x \ in \ mathbb {r} _ {j}}$, dan ${\ displaystyle x \ in j}$. Discriminerende analyse vindt dan 'goede' regio's van ${\ DisplayStyle \ Mathbb {r} _ {j}}$ Om de classificatiefout te minimaliseren, wat leidt tot een hoog percentage correct ingedeeld in de classificatietabel.^[13]

Elke functie krijgt een discriminerende score^{[verduidelijking nodig]} Om te bepalen hoe goed het de plaatsing van de groep voorspelt.

• Structuurcorrelatiecoëfficiënten: de correlatie tussen elke voorspeller en de discriminerende score van elke functie. Dit is een correlatie van nul-orde (d.w.z. niet gecorrigeerd voor de andere voorspellers).^[14]
• Gestandaardiseerde coëfficiënten: het gewicht van elke voorspeller in de lineaire combinatie die de discriminerende functie is. Net als in een regressievergelijking zijn deze coëfficiënten gedeeltelijk (d.w.z. gecorrigeerd voor de andere voorspellers). Geeft de unieke bijdrage aan van elke voorspeller bij het voorspellen van groepstoewijzing.
• Functies bij groepscentroids: gemiddelde discriminerende scores voor elke groeperingsvariabele worden voor elke functie gegeven. Hoe verder uit elkaar de middelen zijn, hoe minder fout er in de classificatie zal zijn.

Discriminatieregels

• Maximale kans: Wijst X toe aan de groep die de dichtheid van de populatie (groep) maximaliseert.^[15]
• Bayes Discriminant Rule: wijst X toe aan de groep die maximaliseert ${\ DisplayStyle \ pi _ {i} f_ {i} (x)}$, waar π_i vertegenwoordigt de eerdere waarschijnlijkheid van die classificatie, en ${\ displaystyle f_ {i} (x)}$ vertegenwoordigt de bevolkingsdichtheid.^[15]
• Fisher's lineaire discriminerende regel: Maximaliseert de verhouding tussen Ss_tussen en Ss_binneninen vindt een lineaire combinatie van de voorspellers om groep te voorspellen.^[15]

Eigenwaarden

Een eigenwaarde In discriminerende analyse is de karakteristieke wortel van elke functie.^{[verduidelijking nodig]} Het is een indicatie van hoe goed die functie de groepen onderscheidt, waar hoe groter de eigenwaarde, hoe beter de functie onderscheidt.^[7] Dit moet echter met voorzichtigheid worden geïnterpreteerd, omdat eigenwaarden geen bovengrens hebben.^[9][7] De eigenwaarde kan worden gezien als een verhouding van Ss_tussen en Ss_binnenin zoals in ANOVA wanneer de afhankelijke variabele de discriminerende functie is, en de groepen de niveaus van de Iv^{[verduidelijking nodig]}.^[9] Dit betekent dat de grootste eigenwaarde wordt geassocieerd met de eerste functie, de tweede grootste met de tweede, enz.

Effectgrootte

Sommigen suggereren het gebruik van eigenwaarden als effectgrootte Maatregelen worden echter over het algemeen niet ondersteund.^[9] In plaats daarvan de canonieke correlatie is de voorkeursmaat voor de effectgrootte. Het is vergelijkbaar met de eigenwaarde, maar is de vierkantswortel van de verhouding van Ss_tussen en Ss_totaal. Het is de correlatie tussen groepen en de functie.^[9] Een andere populaire maat voor effectgrootte is het percentage variantie^{[verduidelijking nodig]} Voor elke functie. Dit wordt berekend door: (λ_x/Σλ_i) X 100 waar λ_x is de eigenwaarde voor de functie en σλ_i is de som van alle eigenwaarden. Dit vertelt ons hoe sterk de voorspelling is voor die specifieke functie in vergelijking met de anderen.^[9] Percentage correct geclassificeerd kan ook worden geanalyseerd als een effectgrootte. De Kappa -waarde kan dit beschrijven tijdens het corrigeren van een kansovereenkomst.^[9]Kappa normaliseert alle categoriseert in plaats van bevooroordeeld door een aanzienlijk goede of slecht presterende klassen.^{[verduidelijking nodig][16]}

Canonieke discriminerende analyse voor k klassen

Canonieke discriminantanalyse (CDA) vindt assen (k- 1 canonieke coördinaten, k het aantal klassen zijn) dat de categorieën het beste scheiden. Deze lineaire functies zijn niet gecorreleerd en definiëren in feite een optimale k- 1 ruimte door de n-Dimensionale gegevenswolk die het beste (de projecties in die ruimte van) de k Groepen. Zien "Multiclass LDA”Voor meer informatie.

Fisher's lineaire discriminant

De voorwaarden Fisher's lineaire discriminant en LDA worden vaak door elkaar gebruikt, hoewel Vissers origineel artikel^[1] beschrijft eigenlijk een iets ander discriminant, dat sommige van de veronderstellingen van LDA niet maakt, zoals normaal verdeeld klassen of gelijke klasse covarianties.

Stel dat twee klassen van observaties zijn middelen ${\ DisplayStyle {\ vec {\ mu}} _ {0}, {\ vec {\ mu}} _ {1}}$ en covarianties ${\ displaystyle \ sigma _ {0}, \ sigma _ {1}}$. Dan de lineaire combinatie van functies ${\ DisplayStyle {\ VEC {W}} \ CDOT {\ VEC {X}}}$ zal hebben middelen ${\ DisplayStyle {\ vec {w}} \ cdot {\ vec {\ mu}} _ {i}}$ en varianties ${\ displayStyle {\ vec {w}}^{t} \ sigma _ {i} {\ vec {w}}}$ voor ${\ DisplayStyle I = 0,1}$. Fisher definieerde de scheiding tussen deze twee uitverdelingen om de verhouding tussen de variantie tussen de klassen tot de variantie binnen de klassen te zijn:

${\ displayStyle s = {\ frac {\ sigma _ {\ text {tussen}}^{2}} {\ sigma _ {\ text {binnen}}^{2}}} = {\ frac {({{\ vec {w}} \ cdot {\ vec {\ mu}} _ {1}-{\ vec {w}} \ cdot {\ vec {\ mu}} _ {0})^{2}} {{\ vec {w}}^{t} \ sigma _ {1} {\ vec {w}}+{\ vec {w}}^{t} \ sigma _ {0} {\ vec {w}}}} = { \ frac {({\ vec {w}} \ cdot ({\ vec {\ mu}} _ {1}-{\ vec {\ mu}} _ {0}))^{2}} {{\ vec {w}}^{t} (\ sigma _ {0}+\ sigma _ {1}) {\ vec {w}}}}}$

Deze maat is in zekere zin een maat voor de signaal - ruis verhouding voor de klassenetikettering. Er kan worden aangetoond dat de maximale scheiding optreedt wanneer

${\ displayStyle {\ vec {w}} \ propto (\ sigma _ {0}+\ sigma _ {1})^{-1} ({\ vec {\ mu}} _ {1}-{\ vec { \ mu}} _ {0})}$

Wanneer aan de veronderstellingen van LDA is voldaan, is de bovenstaande vergelijking gelijk aan LDA.

Merk op dat de vector ${\ DisplayStyle {\ vec {w}}}$ is de normaal naar de discriminant hyperplane. Als een voorbeeld, in een tweedimensionaal probleem, staat de lijn die de twee groepen het beste verdeelt loodrecht op ${\ DisplayStyle {\ vec {w}}}$.

Over het algemeen worden de te gediscrimineerde gegevenspunten geprojecteerd ${\ DisplayStyle {\ vec {w}}}$; Vervolgens wordt de drempel die de gegevens het beste scheidt, gekozen uit analyse van de eendimensionale verdeling. Er is geen algemene regel voor de drempel. Als projecties van beide klassen echter ongeveer dezelfde distributies vertonen, zou een goede keuze het hyperplane zijn tussen projecties van de twee middelen, ${\ DisplayStyle {\ vec {w}} \ cdot {\ vec {\ mu}} _ {0}}$ en ${\ DisplayStyle {\ vec {w}} \ cdot {\ vec {\ mu}} _ {1}}$. In dit geval de parameter C in drempelwaarde ${\ DisplayStyle {\ vec {w}} \ cdot {\ vec {x}}> c}$ kan expliciet worden gevonden:

${\ displaystyle c = {\ vec {w}} \ cdot {\ frac {1} {2}} ({\ vec {\ mu}} _ {0}+{\ vec {\ mu}} _ _ {1} ) = {\ frac {1} {2}} {\ vec {\ mu}} _ {1}^{t} \ sigma _ {1}^{-1} {\ vec {\ mu}} _ _ {1 }-{\ frac {1} {2}} {\ vec {\ mu}} _ {0}^{t} \ sigma _ {0}^{-1} {\ vec {\ mu}} _ _ {0 0 }}$.

OTSU's methode is gerelateerd aan het lineaire discriminant van Fisher en is gemaakt om het histogram van pixels in een grijswaardenbeeld te binariseren door de zwart/witte drempel optimaal te kiezen die intra-klasse variantie minimaliseert en de inter-klasse variantie binnen/tussen grijstales maximaliseert die zijn toegewezen aan zwart-witte pixel klassen.

Multiclass LDA

In het geval dat er meer dan twee klassen zijn, kan de analyse die wordt gebruikt bij de afleiding van het Fisher -discriminant worden uitgebreid om een subruimte die alle klassenvariabiliteit lijkt te bevatten.^[17] Deze generalisatie is te wijten aan C. R. Rao.^[18] Stel dat elk van de C -klassen een gemiddelde heeft ${\ DisplayStyle \ mu _ {i}}$ en dezelfde covariantie ${\ DisplayStyle \ Sigma}$. Dan kan de spreiding tussen klassenvariabiliteit worden gedefinieerd door de steekproefcovariantie van de klasse -middelen

${\ displayStyle \ sigma _ {b} = {\ frac {1} {c}} \ sum _ {i = 1}^{c} (\ mu _ {i}-\ mu) (\ mu _ _ {i} -\ mu)^{t}}$

waar ${\ DisplayStyle \ mu}$ is het gemiddelde van de klasse middelen. De klassenscheiding in een richting ${\ DisplayStyle {\ vec {w}}}$ in dit geval zal worden gegeven door

${\ displaystyle s = {\ frac {{\ vec {w}}^{t} \ sigma _ {b} {\ vec {w}}} {{\ vec {w}}^{t} \ \ sigma \ \ \ sigma \ vec {w}}}}}$

Dit betekent dat wanneer ${\ DisplayStyle {\ vec {w}}}$ is een eigenvector van ${\ DisplayStyle \ Sigma ^{-1} \ Sigma _ {b}}$ De scheiding zal gelijk zijn aan de overeenkomstige eigenwaarde.

Als ${\ DisplayStyle \ Sigma ^{-1} \ Sigma _ {b}}$ is diagonaliseerbaar, de variabiliteit tussen kenmerken zal worden opgenomen in de subruimte die wordt overspannd door de eigenvectoren die overeenkomen met de C- 1 grootste eigenwaarden (sindsdien ${\ DisplayStyle \ Sigma _ {b}}$ is van rang C- 1 maximaal). Deze eigenvectoren worden voornamelijk gebruikt bij het reductie van functies, zoals in PCA. De eigenvectoren die overeenkomen met de kleinere eigenwaarden zullen de neiging hebben zeer gevoelig te zijn voor de exacte keuze van trainingsgegevens, en het is vaak nodig om regularisatie te gebruiken zoals beschreven in de volgende sectie.

Als classificatie vereist is, in plaats van dimensievermindering, er zijn een aantal alternatieve technieken beschikbaar. De klassen kunnen bijvoorbeeld worden verdeeld en een standaard Fisher -discriminant of LDA die wordt gebruikt om elke partitie te classificeren. Een veel voorkomend voorbeeld hiervan is "één tegen de rest" waar de punten van de ene klasse in de ene groep worden geplaatst en al het andere in de andere, en vervolgens LDA van toepassing. Dit zal resulteren in C -classificaties, waarvan de resultaten worden gecombineerd. Een andere veel voorkomende methode is een paarsgewijze classificatie, waarbij een nieuwe classifier wordt gemaakt voor elk paar klassen (geven C(C- 1)/2 classificaties in totaal), met de individuele classificaties gecombineerd om een ​​definitieve classificatie te produceren.

Incrementele LDA

De typische implementatie van de LDA -techniek vereist dat alle monsters vooraf beschikbaar zijn. Er zijn echter situaties waarin de gehele gegevensset niet beschikbaar is en de invoergegevens worden waargenomen als een stream. In dit geval is het wenselijk dat de LDA -functie -extractie de mogelijkheid heeft om de berekende LDA -functies bij te werken door de nieuwe monsters te observeren zonder het algoritme op de hele gegevensset uit te voeren. In veel realtime applicaties zoals mobiele robotica of online gezichtsherkenning is het bijvoorbeeld belangrijk om de geëxtraheerde LDA-functies bij te werken zodra er nieuwe observaties beschikbaar zijn. Een LDA -functie -extractietechniek die de LDA -functies kan bijwerken door eenvoudig nieuwe monsters te observeren, is een incrementele LDA -algoritme, en dit idee is de afgelopen twee decennia uitgebreid bestudeerd.^[19] Chatterjee en Roychowdhury stelden een incrementeel zelfgeorganiseerd LDA-algoritme voor voor het bijwerken van de LDA-functies.^[20] In ander werk stelden Demir en Ozmehmet online lokale leeralgoritmen voor voor het bijwerken van LDA-functies stapsgewijs met behulp van foutcorrectie en de Hebbische leerregels.^[21] Later, Aliyari ET Al. Afgeleide snelle incrementele algoritmen om de LDA -functies bij te werken door de nieuwe monsters te observeren.^[19]

Praktisch gebruik

In de praktijk zijn de klasse middelen en covarianties niet bekend. Ze kunnen echter worden geschat op basis van de trainingsset. Ofwel de Maximale waarschijnlijkheidsschatting of de Maximale a posteriori De schatting kan worden gebruikt in plaats van de exacte waarde in de bovenstaande vergelijkingen. Hoewel de schattingen van de covariantie in zekere zin als optimaal kunnen worden beschouwd, betekent dit niet dat het resulterende discriminant dat wordt verkregen door deze waarden te vervangen, in welke zin dan ook optimaal is, zelfs als de veronderstelling van normaal verdeelde klassen correct is.

Een andere complicatie bij het toepassen van LDA en Fisher's discriminant op reële gegevens treedt op wanneer het aantal metingen van elk monster (d.w.z. de dimensionaliteit van elke gegevensvector) het aantal monsters in elke klasse overschrijdt.^[4] In dit geval hebben de schattingen van de covariantie geen volledige rang en kunnen ze dus niet worden omgekeerd. Er zijn een aantal manieren om hiermee om te gaan. Een daarvan is om een Pseudo omgekeerd in plaats van de gebruikelijke matrix inverse in de bovenstaande formules. Betere numerieke stabiliteit kan echter worden bereikt door eerst het probleem te projecteren op de subruimte die wordt overspant door ${\ DisplayStyle \ Sigma _ {b}}$.^[22] Een andere strategie om met een kleine steekproef om te gaan, is het gebruik van een krimpschatter van de covariantiematrix, die wiskundig kan worden uitgedrukt als

${\ displayStyle \ sigma = (1- \ lambda) \ sigma +\ lambda i \,}$

waar ${\ displaystyle i}$ is de identiteitsmatrix, en ${\ DisplayStyle \ Lambda}$ is de krimpintensiteit of regularisatieparameter. Dit leidt tot het raamwerk van geregulariseerde discriminerende analyse^[23] of krimpdiscriminerende analyse.^[24]

Ook zijn lineaire discriminanten in veel praktische gevallen niet geschikt. LDA en Fisher's discriminant kunnen worden uitgebreid voor gebruik bij niet-lineaire classificatie via de kerneltruc. Hier worden de oorspronkelijke waarnemingen effectief in kaart gebracht in een hogere dimensionale niet-lineaire ruimte. Lineaire classificatie in deze niet-lineaire ruimte is dan gelijkwaardig aan niet-lineaire classificatie in de oorspronkelijke ruimte. Het meest gebruikte voorbeeld hiervan is de Kernel Fisher Discriminant.

LDA kan worden gegeneraliseerd Meerdere discriminerende analyse, waar c wordt een categorische variabele met N Mogelijke staten, in plaats van slechts twee. Analoog, als de klassen-voorwaardelijke dichtheden ${\ displaystyle p ({\ vec {x}} \ mid c = i)}$ zijn normaal met gedeelde covarianties, de voldoende statistiek voor ${\ displaystyle p (c \ mid {\ vec {x}})}$ zijn de waarden van N projecties, die de subruimte overspannen door de N middelen, Affine geprojecteerd door de omgekeerde covariantiematrix. Deze projecties zijn te vinden door een Gegeneraliseerd eigenwaardeprobleem, waarbij de teller de covariantiematrix is ​​die wordt gevormd door de middelen als de monsters te behandelen, en de noemer de gedeelde covariantiematrix is. Zien "Multiclass LDA”Hierboven voor details.

Toepassingen

Naast de hieronder gegeven voorbeelden wordt LDA toegepast in positionering en product management.

Faillissementsvoorspelling

In Faillissementsvoorspelling Op basis van boekhoudkundige ratio's en andere financiële variabelen was lineaire discriminantanalyse de eerste statistische methode die werd toegepast om systematisch uit te leggen welke bedrijven faillissement hebben ingevoerd versus overleefd. Ondanks beperkingen, waaronder bekende non -conformiteit van boekhoudkundige verhoudingen tot de normale verdelingsveronderstellingen van LDA, Edward Altman's 1968 Model is nog steeds een toonaangevend model in praktische toepassingen.

Gezichtsherkenning

In geautomatiseerd gezichtsherkenning, elk gezicht wordt weergegeven door een groot aantal pixelwaarden. Lineaire discriminerende analyse wordt hier voornamelijk gebruikt om het aantal functies te verminderen tot een beter beheersbaar nummer vóór classificatie. Elk van de nieuwe dimensies is een lineaire combinatie van pixelwaarden, die een sjabloon vormen. De lineaire combinaties verkregen met behulp van Fisher's lineaire discriminant worden genoemd Fisher -gezichten, terwijl die verkregen met de gerelateerde Hoofdcomponentanalyse worden genoemd eigenfaces.

Marketing

In marketing, discriminerende analyse werd ooit vaak gebruikt om de factoren te bepalen die verschillende soorten klanten en/of producten onderscheiden op basis van enquêtes of andere vormen van verzamelde gegevens. Logistieke regressie of andere methoden worden nu vaker gebruikt. Het gebruik van discriminerende analyse in marketing kan worden beschreven door de volgende stappen:

1. Het probleem formuleren en gegevens verzamelen - identificeer de saillant Attributen consumenten gebruiken om producten in deze categorie te evalueren - gebruik Kwantitatief marketingonderzoek technieken (zoals enquêtes) om gegevens te verzamelen uit een steekproef van potentiële klanten met betrekking tot hun beoordelingen van alle productkenmerken. De fase van gegevensverzameling wordt meestal gedaan door marketingonderzoeksprofessionals. Vragen over enquête vragen de respondent om een ​​product te beoordelen van één tot vijf (of 1 tot 7, of 1 tot 10) op een reeks attributen die door de onderzoeker zijn gekozen. Overal van vijf tot twintig attributen worden gekozen. Ze kunnen dingen omvatten als: gebruiksgemak, gewicht, nauwkeurigheid, duurzaamheid, kleur, prijs of grootte. De gekozen attributen zullen variëren, afhankelijk van het bestudeerde product. Dezelfde vraag wordt gesteld over alle producten in de studie. De gegevens voor meerdere producten zijn gecodificeerd en worden ingevoerd in een statistisch programma zoals R, SPSS of SAS. (Deze stap is hetzelfde als in factoranalyse).
2. Schat de discriminerende functiecoëfficiënten en bepaal de statistische significantie en validiteit - kloot de juiste discriminant -analysemethode. De directe methode omvat het schatten van de discriminerende functie zodat alle voorspellers gelijktijdig worden beoordeeld. De Stapsgewijze methode Voer de voorspellers achtereenvolgens in. De methode met twee groepen moet worden gebruikt wanneer de afhankelijke variabele twee categorieën of toestanden heeft. De meervoudige discriminerende methode wordt gebruikt wanneer de afhankelijke variabele drie of meer categorische toestanden heeft. Gebruiken Wilks 'Lambda om te testen op betekenis in SPSS of F STAT in SAS. De meest gebruikelijke methode die wordt gebruikt om de validiteit te testen, is het splitsen van het monster in een schatting- of analysemonster en een validatie- of HOLDOUT -monster. Het schattingsmonster wordt gebruikt bij het construeren van de discriminerende functie. Het validatiemonster wordt gebruikt om een ​​classificatiematrix te construeren die het aantal correct geclassificeerde en onjuist geclassificeerde gevallen bevat. Het percentage correct geclassificeerde gevallen wordt de hit -verhouding.
3. Plot de resultaten op een tweedimensionale kaart, definieer de dimensies en interpreteer de resultaten. Het statistische programma (of een gerelateerde module) zal de resultaten toewijzen. De kaart zal elk product plotten (meestal in tweedimensionale ruimte). De afstand van producten tot elkaar geeft aan hoe verschillend ze zijn. De dimensies moeten door de onderzoeker worden gelabeld. Dit vereist subjectief oordeel en is vaak erg uitdagend. Zien perceptuele mapping.

Biomedische studies

De belangrijkste toepassing van discriminerende analyse in de geneeskunde is de beoordeling van de ernststatus van een patiënt en prognose van de uitkomst van de ziekte. Tijdens retrospectieve analyse worden patiënten bijvoorbeeld verdeeld in groepen op basis van de ernst van de ziekte - milde, matige en ernstige vorm. Vervolgens worden de resultaten van klinische en laboratoriumanalyses bestudeerd om variabelen te onthullen die statistisch verschillend zijn in bestudeerde groepen. Met behulp van deze variabelen worden discriminerende functies gebouwd die helpen om de ziekte bij een toekomstige patiënt objectief te classificeren in milde, matige of ernstige vorm.

In de biologie worden vergelijkbare principes gebruikt om groepen van verschillende biologische objecten te classificeren en te definiëren, bijvoorbeeld om faagtypen van Salmonella enteritidis te definiëren op basis van Fourier Transform Infrared Spectra,^[25] om dierlijke bron van te detecteren Escherichia coli het bestuderen van de virulentiefactoren^[26] enz.

Aardwetenschappen

Deze methode kan worden gebruikt Scheid de wijzigingszones^{[verduidelijking nodig]}. Wanneer bijvoorbeeld verschillende gegevens van verschillende zones beschikbaar zijn, kan discriminerende analyse het patroon binnen de gegevens vinden en effectief classificeren.^[27]

Vergelijking met logistieke regressie

Discriminerende functieanalyse lijkt erg op logistieke regressie, en beide kunnen worden gebruikt om dezelfde onderzoeksvragen te beantwoorden.^[9] Logistische regressie heeft niet zoveel veronderstellingen en beperkingen als discriminerende analyse. Wanneer de veronderstellingen van discriminerende analyse echter worden voldaan, is deze krachtiger dan logistieke regressie.^[28] In tegenstelling tot logistieke regressie kan discriminerende analyse worden gebruikt met kleine steekproefgroottes. Er is aangetoond dat wanneer de steekproefgroottes gelijk zijn en de homogeniteit van variantie/covariantie geldt, discriminerende analyse is nauwkeuriger.^[7] Ondanks al deze voordelen is logistieke regressie toch de gemeenschappelijke keuze geworden, omdat de veronderstellingen van discriminerende analyse zelden worden voldaan.^[8][7]

Lineair discriminant in hoge dimensie

Geometrische afwijkingen in hogere dimensies leiden tot het bekende vloek van de dimensionaliteit. Desalniettemin het juiste gebruik van meetconcentratie Fenomenen kunnen berekening gemakkelijker maken.^[29] Een belangrijk geval hiervan Zegen van dimensionaliteit Fenomenen werd benadrukt door Donoho en Tanner: als een monster in wezen hoogdimensionaal is, kan elk punt worden gescheiden van de rest van het monster door lineaire ongelijkheid, met grote waarschijnlijkheid, zelfs voor exponentieel grote monsters.^[30] Deze lineaire ongelijkheden kunnen worden geselecteerd in de standaard (Fisher's) vorm van de lineaire discriminant voor een rijke familie van waarschijnlijkheidsverdeling.^[31] In het bijzonder zijn dergelijke stellingen bewezen log-concave distributies inclusief multidimensionale normale verdeling (Het bewijs is gebaseerd op de concentratie-ongelijkheden voor log-concave-maatregelen^[32]) en voor productmaatregelen op een multidimensionale kubus (dit is bewezen met behulp van Talagrand's concentratie ongelijkheid voor productkansruimten). Gegevensscheiding door klassieke lineaire discriminanten vereenvoudigt het probleem van foutcorrectie voor kunstmatige intelligentie systemen in hoge dimensie.^[33]

Zie ook

• Datamining
• Decision Tree Learning
• Factoren analyse
• Kernel Fisher Discriminant -analyse
• Logit (voor logistieke regressie)
• Lineaire regressie
• Meerdere discriminerende analyse
• Multidimensionale schaling
• Patroonherkenning
• Voorkeursregressie
• Kwadratische classificator
• Statistische classificatie

Referenties

Verder lezen

• Duda, R. O.; Hart, P. E.; Stork, D. H. (2000). Patroonclassificatie (2e ed.). Wiley Interscience. ISBN 978-0-471-05669-0. DHR 1802993.
• Hilbe, J. M. (2009). Logistische regressiemodellen. Chapman & Hall/CRC Press. ISBN 978-1-4200-7575-5.
• Mika, S.; et al. (1999). "Fisher Discriminant -analyse met kernels". Neurale netwerken voor signaalverwerking IX: Proceedings of the 1999 IEEE Signal Processing Society Workshop (Cat. No.98th8468). IEEE -conferentie over neurale netwerken voor signaalverwerking IX. pp. 41–48. Citeseerx 10.1.1.35.9904. doen:10.1109/nnsp.1999.788121. ISBN 978-0-7803-5673-3. S2CID 8473401.
• McFarland, H. Richard; Donald, St. P. Richards (2001). "Exacte misclassificatiekansen voor plug-in normale kwadratische discriminerende functies. I. De gelijke gemiddelde zaak". Journal of Multivariate Analysis. 77 (1): 21–53. doen:10.1006/jmva.2000.1924.
• McFarland, H. Richard; Donald, St. P. Richards (2002). "Exacte misclassificatiekansen voor plug-in normale kwadratische discriminerende functies. II. De heterogene geval". Journal of Multivariate Analysis. 82 (2): 299–330. doen:10.1006/jmva.2001.2034.
• Haghighat, M.; Abdel-Mottaleb, M.; Alhalabi, W. (2016). "Discriminerende correlatieanalyse: realtime functieniveau fusie voor multimodale biometrische herkenning". IEEE -transacties op informatie -forensisch onderzoek en beveiliging. 11 (9): 1984–1996. doen:10.1109/tifs.2016.2569061. S2CID 15624506.

Externe links

• Discriminerende correlatieanalyse (DCA) van het Haghighat -artikel (zie hierboven)
• Alglib Bevat open-source LDA-implementatie in C# / C ++ / Pascal / VBA.
• LDA in Python- LDA -implementatie in Python
• LDA -zelfstudie met MS Excel
• Biomedische statistieken. Discriminerende analyse
• Statquest: lineaire discriminant -analyse (LDA) duidelijk uitgelegd Aan YouTube
• Cursusnotities, Discriminante functieanalyse door G. David Garson, NC State University
• Discriminant -analyse Tutorial in Microsoft Excel door Kardi Teknomo
• Cursusnotities, Discriminante functieanalyse door David W. Stockburger, Missouri State University
• Discriminante functieanalyse (DA) door John Poulsen en Aaron French, San Francisco State University