Onafhankelijke componentanalyse

In signaalverwerking, Onafhankelijke componentanalyse (ICA) is een computationele methode voor het scheiden van een multivariate signaal in additieve subcomponenten. Dit wordt gedaan door aan te nemen dat maximaal één subcomponent Gaussiaans is en dat de subcomponenten dat zijn Statistisch onafhankelijk van elkaar.^[1] ICA is een speciaal geval van Blinde bronscheiding. Een veel voorkomende voorbeeldtoepassing is de "Cocktailparty probleem"Om te luisteren naar de toespraak van één persoon in een lawaaierige kamer.^[2]

Invoering

ICA op vier willekeurig gemengde video's.^[3] Top: de originele bronvideo's. Midden: vier willekeurige mengsels die worden gebruikt als invoer voor het algoritme. Onder: de gereconstrueerde video's.

Onafhankelijke componentanalyse probeert een multivariate signaal te ontleden in onafhankelijke niet-Gaussiaanse signalen. Als voorbeeld is geluid meestal een signaal dat bestaat uit de numerieke toevoeging, bij elke tijd t, van signalen uit verschillende bronnen. De vraag is dan of het mogelijk is om deze bijdragende bronnen te scheiden van het waargenomen totale signaal. Wanneer de veronderstelling van de statistische onafhankelijkheid correct is, geeft blinde ICA -scheiding van een gemengd signaal zeer goede resultaten. Het wordt ook gebruikt voor signalen die niet mogen worden gegenereerd door te mengen voor analysedoeleinden.

Een eenvoudige toepassing van ICA is de "Cocktailparty probleem", waarbij de onderliggende spraaksignalen worden gescheiden van een voorbeeldgegevens bestaande uit mensen die tegelijkertijd in een kamer praten. Meestal wordt het probleem vereenvoudigd door aan te nemen dat er geen tijd vertragingen of echo's aannemen. Merk op dat een gefilterd en vertraagd signaal een kopie van een afhankelijke component is, en dus wordt de veronderstelling van de statistische onafhankelijkheid niet geschonden.

Gewichten mengen voor het construeren van de ${\ textstyle m}$ waargenomen signalen van de ${\ TextStyle n}$ componenten kunnen in een ${\ textstyle m \ maal n}$ Matrix. Een belangrijk ding om te overwegen is dat als ${\ TextStyle n}$ Er zijn tenminste bronnen aanwezig ${\ TextStyle n}$ Observaties (bijv. Microfoons als het waargenomen signaal audio is) zijn nodig om de oorspronkelijke signalen te herstellen. Wanneer er een gelijk aantal waarnemingen en bronsignalen is, is de mengmatrix vierkant ( ${\ textstyle m = n}$ ). Andere gevallen van onderbepaald ( ${\ textstyle m <n}$ ) en overbepaald ( ${\ textstyle m> n}$ ) zijn onderzocht.

Dat de ICA -scheiding van gemengde signalen zeer goede resultaten geeft, is gebaseerd op twee veronderstellingen en drie effecten van mengbronsignalen. Twee veronderstellingen:

De bronsignalen zijn onafhankelijk van elkaar.
De waarden in elk bronsignaal hebben niet-Gaussiaanse distributies.

Drie effecten van mengbronsignalen:

Onafhankelijkheid: volgens veronderstelling 1 zijn de bronsignalen onafhankelijk; Hun signaalmengsels zijn dat echter niet. Dit komt omdat de signaalmengsels dezelfde bronsignalen delen.
Normaliteit: volgens de Centrale limietstelling, de verdeling van een som van onafhankelijke willekeurige variabelen met eindige variantie neigt naar een Gaussiaanse verdeling.
Losjes gesproken heeft een som van twee onafhankelijke willekeurige variabelen meestal een verdeling die dichter bij Gaussiaans is dan een van de twee oorspronkelijke variabelen. Hier beschouwen we de waarde van elk signaal als de willekeurige variabele.
Complexiteit: de tijdelijke complexiteit van elk signaalmengsel is groter dan die van het eenvoudigste samenstellende bronsignaal.

Die principes dragen bij aan de basisinstelling van ICA. Als de signalen uit een set mengsels onafhankelijk zijn en niet-Gaussiaanse histogrammen hebben of een lage complexiteit hebben, moeten ze bronsignalen zijn.^[4]^[5]

Component onafhankelijkheid definiëren

ICA vindt de onafhankelijke componenten (ook wel factoren, latente variabelen of bronnen genoemd) door de statistische onafhankelijkheid van de geschatte componenten te maximaliseren. We kunnen een van de vele manieren kiezen om een proxy voor onafhankelijkheid te definiëren, en deze keuze regelt de vorm van het ICA -algoritme. De twee breedste definities van onafhankelijkheid voor ICA zijn

Minimalisatie van wederzijdse informatie
Maximalisatie van niet-Gaussianity

Het minimalisatie van-Wederzijdse informatie (MMI) Familie van ICA -algoritmen gebruikt maatregelen zoals Kullback-Leibler divergentie en Maximale entropie. De niet-Gaussiaanse familie van ICA-algoritmen, gemotiveerd door de centrale limietstelling, toepassingen kurtosis en negentropie.

Typische algoritmen voor ICA -gebruikscentrum (trek het gemiddelde af om een nulgemiddeld signaal te maken), whitening (meestal met de eigenwaarde ontleding), en dimensionaliteitsvermindering als voorbewerkingsstappen om de complexiteit van het probleem voor het eigenlijke iteratieve algoritme te vereenvoudigen en te verminderen. Witend en dimensievermindering kan worden bereikt met Hoofdcomponentanalyse of singuliere waarden ontbinding. Whitening zorgt ervoor dat alle dimensies gelijk worden behandeld a priori voordat het algoritme wordt uitgevoerd. Bekende algoritmen voor ICA omvatten infomax, Fastica, JADE, en Kernel-onafhankelijke componentanalyse, onder andere. Over het algemeen kan ICA het werkelijke aantal bronsignalen niet identificeren, een uniek correcte volgorde van de bronsignalen, noch de juiste schaal (inclusief teken) van de bronsignalen.

ICA is belangrijk voor Blind signaalscheiding en heeft veel praktische toepassingen. Het is nauw verwant aan (of zelfs een speciaal geval van) de zoektocht naar een Factoriële code van de gegevens, d.w.z. een nieuwe vector-waarde-weergave van elke gegevensvector zodat deze uniek wordt gecodeerd door de resulterende codevector (verliesvrije codering), maar de codecomponenten zijn statistisch onafhankelijk.

Wiskundige definities

Lineaire onafhankelijke componentanalyse kan worden onderverdeeld in geruisloze en lawaaierige gevallen, waarbij geruisloze ICA een speciaal geval is van lawaaierige ICA. Niet -lineaire ICA moet als een afzonderlijk geval worden beschouwd.

Algemene definitie

De gegevens worden weergegeven door de waargenomen willekeurige vector ${\ displayStyle {\ boldsymbol {x}} = (x_ {1}, \ ldots, x_ {m})^{t}}$ en de verborgen componenten als de willekeurige vector ${\ displayStyle {\ boldsymbol {s}} = (s_ {1}, \ ldots, s_ {n})^{t}.}$ De taak is om de waargenomen gegevens te transformeren ${\ DisplayStyle {\ boldsymbol {x}},}$ met behulp van een lineaire statische transformatie ${\ DisplayStyle {\ boldsymbol {w}}}$ net zo ${\ displayStyle {\ boldsymbol {s}} = {\ boldsymbol {w}} {\ boldsymbol {x}},}$ in een vector van maximaal onafhankelijke componenten ${\ DisplayStyle {\ boldsymbol {s}}}$ gemeten door een functie ${\ displaystyle f (s_ {1}, \ ldots, s_ {n})}$ van onafhankelijkheid.

Generatief model

Lineaire geruisloze ICA

De onderdelen ${\ DisplayStyle x_ {i}}$ van de waargenomen willekeurige vector ${\ displayStyle {\ boldsymbol {x}} = (x_ {1}, \ ldots, x_ {m})^{t}}$ worden gegenereerd als een som van de onafhankelijke componenten ${\ DisplayStyle S_ {k}}$ , ${\ displaystyle k = 1, \ ldots, n}$ :

${\ displaystyle x_ {i} = a_ {i, 1} s_ {1} +\ cdots +a_ {i, k} s_ {k} +\ cdots +a_ {i, n} s_ {n}}$

gewogen door de menggewichten ${\ displaystyle a_ {i, k}}$ .

Hetzelfde generatieve model kan in vectorvorm worden geschreven als ${\ displaystyle {\ boldsymbol {x}} = \ sum _ {k = 1}^{n} s_ {k} {\ boldsymbol {a}} _ {k}}$ , waar de waargenomen willekeurige vector ${\ DisplayStyle {\ boldsymbol {x}}}$ wordt vertegenwoordigd door de basisvectoren ${\ displayStyle {\ boldsymbol {a}} _ {k} = ({\ boldsymbol {a}} _ {1, k}, \ ldots, {\ boldsymbol {a}} _ {m, k})^{t }}$ . De basisvectoren ${\ DisplayStyle {\ boldsymbol {a}} _ {k}}$ Vorm de kolommen van de mengmatrix ${\ displayStyle {\ boldsymbol {a}} = ({\ boldsymbol {a}} _ {1}, \ ldots, {\ boldsymbol {a}}} _ {n})}$ en de generatieve formule kan worden geschreven als ${\ displayStyle {\ boldsymbol {x}} = {\ boldsymbol {a}} {\ boldsymbol {s}}}$ , waar ${\ displayStyle {\ boldsymbol {s}} = (s_ {1}, \ ldots, s_ {n})^{t}}$ .

Gezien het model en de realisaties (monsters) ${\ displayStyle {\ boldsymbol {x}} _ {1}, \ ldots, {\ boldsymbol {x}}} _ {n}}$ van de willekeurige vector ${\ DisplayStyle {\ boldsymbol {x}}}$ , de taak is om beide mengmatrix te schatten ${\ DisplayStyle {\ boldsymbol {a}}}$ en de bronnen ${\ DisplayStyle {\ boldsymbol {s}}}$ . Dit wordt gedaan door de ${\ DisplayStyle {\ boldsymbol {w}}}$ vectoren en het opzetten van een kostenfunctie die ofwel de niet-Gaussiantiteit van de berekende maximaliseert ${\ displaystyle s_ {k} = {\ boldsymbol {w}}^{t} {\ boldsymbol {x}}}$ of minimaliseert de wederzijdse informatie. In sommige gevallen kan een a priori kennis van de waarschijnlijkheidsverdelingen van de bronnen worden gebruikt in de kostenfunctie.

De originele bronnen ${\ DisplayStyle {\ boldsymbol {s}}}$ kan worden hersteld door de waargenomen signalen te vermenigvuldigen ${\ DisplayStyle {\ boldsymbol {x}}}$ met het omgekeerde van de mengmatrix ${\ DisplayStyle {\ boldsymbol {w}} = {\ boldsymbol {a}}^{-1}}$ , Ook bekend als de Unmixing Matrix. Hier wordt aangenomen dat de mengmatrix vierkant is ( ${\ displaystyle n = m}$ ). Als het aantal basisvectoren groter is dan de dimensionaliteit van de waargenomen vectoren, ${\ displaystyle n> m}$ , de taak is te compleet, maar is nog steeds oplosbaar met de Pseudo omgekeerd.

Lineaire lawaaierige ICA

Met de extra veronderstelling van nul-gemiddelde en niet-gecorreleerde Gaussiaanse ruis ${\ displaystyle n \ sim n (0, \ operatorName {diag} (\ sigma))}$ , het ICA -model neemt de vorm aan ${\ displayStyle {\ boldsymbol {x}} = {\ boldsymbol {a}} {\ boldsymbol {s}}+n}$ .

Niet -lineaire ICA

Het mengen van de bronnen hoeft niet lineair te zijn. Met behulp van een niet -lineaire mengfunctie ${\ displaystyle f (\ cdot | \ theta)}$ met parameters ${\ DisplayStyle \ theta}$ Het niet -lineaire ICA -model is ${\ displaystyle x = f (s | \ theta)+n}$ .

Identificeerbaarheid

De onafhankelijke componenten zijn identificeerbaar tot een permutatie en schaling van de bronnen. Deze identificeerbaarheid vereist dat:

Maximaal een van de bronnen ${\ DisplayStyle S_ {k}}$ is Gaussiaans,
Het aantal waargenomen mengsels, ${\ displaystyle m}$ , moet minstens zo groot zijn als het aantal geschatte componenten ${\ displaystyle n}$ : ${\ displaystyle m \ geq n}$ . Het is gelijkwaardig om te zeggen dat de mengmatrix ${\ DisplayStyle {\ boldsymbol {a}}}$ Moet vol zijn rang omdat zijn inverse bestaat.

Binaire ICA

Een speciale variant van ICA is binaire ICA waarin zowel signaalbronnen als monitoren in binaire vorm zijn en waarnemingen van monitoren zijn disjunctieve mengsels van binaire onafhankelijke bronnen. Het probleem bleek toepassingen te hebben in veel domeinen, waaronder medische diagnose, multi-cluster opdracht, netwerktomografie en internet resource management.

Laten ${\ DisplayStyle {x_ {1}, x_ {2}, \ ldots, x_ {m}}}$ wees de set binaire variabelen van ${\ displaystyle m}$ monitoren en ${\ displaystyle {y_ {1}, y_ {2}, \ ldots, y_ {n}}}$ wees de set binaire variabelen van ${\ displaystyle n}$ bronnen. Bron-monitorverbindingen worden weergegeven door de (onbekende) mengmatrix ${\ textstyle {\ boldsymbol {g}}}$ , waar ${\ displaystyle g_ {ij} = 1}$ geeft aan dat signaal van het i-th Bron kan worden waargenomen door de j-th Monitor. Het systeem werkt als volgt: op elk moment, als een bron ${\ displaystyle i}$ is actief ( ${\ displaystyle y_ {i} = 1}$ ) en het is verbonden met de monitor ${\ displaystyle j}$ ( ${\ displaystyle g_ {ij} = 1}$ ) dan de monitor ${\ displaystyle j}$ zal enige activiteit waarnemen ( ${\ displaystyle x_ {j} = 1}$ ). Formeel hebben we:

{\ displaystyle x_ {i} = \ bigvee _ {j = 1}^{n} (g_ {ij} \ Wedge y_ {j}), i = 1,2, \ ldots, m,}

waar ${\ DisplayStyle \ Wedge}$ is Boolean en en ${\ DisplayStyle \ Vee}$ is boolean of. Merk op dat ruis niet expliciet wordt gemodelleerd, eerder kan worden behandeld als onafhankelijke bronnen.

Het bovenstaande probleem kan heuristisch worden opgelost^[6] Door aan te nemen dat variabelen continu zijn en lopen Fastica Over binaire observatiegegevens om de mengmatrix te krijgen ${\ textstyle {\ boldsymbol {g}}}$ (echte waarden) en vervolgens van toepassing rond getal Technieken op ${\ textstyle {\ boldsymbol {g}}}$ om de binaire waarden te verkrijgen. Van deze benadering is aangetoond dat het een zeer onnauwkeurig resultaat oplevert.

Een andere methode is om te gebruiken dynamisch programmeren: recursief het breken van de observatiematrix ${\ textstyle {\ boldsymbol {x}}}$ in zijn submatrices en voer het inferentie-algoritme uit op deze submatrices. De belangrijkste observatie die tot dit algoritme leidt, is de submatrix ${\ textstyle {\ boldsymbol {x}}^{0}}$ van ${\ textstyle {\ boldsymbol {x}}}$ waar ${\ textstyle x_ {ij} = 0, \ forall j}$ komt overeen met de onpartijdige observatiematrix van verborgen componenten die geen verbinding hebben met de ${\ displaystyle i}$ -th Monitor. Experimentele resultaten van^[7] Laat zien dat deze aanpak nauwkeurig is onder matige geluidsniveaus.

Het gegeneraliseerde binaire ICA -framework^[8] Introduceert een bredere probleemformulering die geen kennis over het generatieve model vereist. Met andere woorden, deze methode probeert een bron te ontleden in zijn onafhankelijke componenten (zoveel mogelijk, en zonder informatie te verliezen) zonder voorafgaande veronderstelling over de manier waarop deze werd gegenereerd. Hoewel dit probleem vrij complex lijkt, kan het nauwkeurig worden opgelost met een vertakking en gebonden Zoek boomalgoritme of strak bovengrens met een enkele vermenigvuldiging van een matrix met een vector.

Methoden voor blinde bronscheiding

Projectie -achtervolging

Signaalmengsels hebben de neiging om Gaussiaanse waarschijnlijkheidsdichtheidsfuncties te hebben en bronsignalen hebben meestal niet-Gaussiaanse waarschijnlijkheidsdichtheidsfuncties. Elk bronsignaal kan worden geëxtraheerd uit een set signaalmengsels door het binnenste product van een gewichtsvector en die signaalmengsels te nemen waarbij dit binnenste product een orthogonale projectie van de signaalmengsels biedt. De resterende uitdaging is het vinden van zo'n gewichtsvector. Een type methode om dit te doen is Projectie -achtervolging.^[9]^[10]

Projectie-achtervolging zoekt één projectie tegelijk zodat het geëxtraheerde signaal zo niet-Gaussiaans mogelijk is. Dit staat in contrast met ICA, die meestal uittrekt M signalen tegelijkertijd van M signaalmengsels, waarvoor een schatting een M × M Ontmixingsmatrix. Een praktisch voordeel van projectie -achtervolging ten opzichte van ICA is dat minder dan M Signalen kunnen indien nodig worden geëxtraheerd, waarbij elk bronsignaal wordt geëxtraheerd M signaalmengsels met behulp van een M-Element gewicht vector.

We kunnen gebruiken kurtosis Om het meervoudige bronsignaal te herstellen door de juiste gewichtsvectoren te vinden met behulp van projectie -achtervolging.

De kurtosis van de waarschijnlijkheidsdichtheidsfunctie van een signaal, voor een eindig monster, wordt berekend als

K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf { y} -\ mathbf {\ overline {y}})^{2}])^{2}}} -3

waar ${\ DisplayStyle \ Mathbf {\ Overline {y}}}$ is de monstergemiddelde van ${\ DisplayStyle \ Mathbf {y}}$ , de geëxtraheerde signalen. De constante 3 zorgt ervoor dat Gaussiaanse signalen nul kurtosis hebben, super-Gaussiaanse signalen hebben een positieve kurtosis en sub-Gaussiaanse signalen hebben negatieve kurtosis. De noemer is de variantie van ${\ DisplayStyle \ Mathbf {y}}$ en zorgt ervoor dat de gemeten kurtosis rekening houdt met signaalvariantie. Het doel van projectie-achtervolging is om de kurtosis te maximaliseren en het geëxtraheerde signaal zo niet-normaal mogelijk te maken.

Met behulp van kurtosis als een maat voor niet-normaliteit, kunnen we nu onderzoeken hoe de kurtosis van een signaal ${\ DisplayStyle \ Mathbf {y} = \ Mathbf {w} ^{t} \ Mathbf {x}}$ geëxtraheerd uit een set van M mengsels ${\ displayStyle \ Mathbf {x} = (x_ {1}, x_ {2}, \ ldots, x_ {m})^{t}}$ varieert als de gewichtsvector ${\ DisplayStyle \ Mathbf {W}}$ wordt gedraaid rond de oorsprong. Gezien onze veronderstelling dat elk bronsignaal ${\ DisplayStyle \ Mathbf {s}}$ is super-Gaussiaans dat we zouden verwachten:

de kurtosis van het geëxtraheerde signaal ${\ DisplayStyle \ Mathbf {y}}$ om maximaal te zijn, precies wanneer ${\ DisplayStyle \ Mathbf {y} = \ Mathbf {s}}$ .
de kurtosis van het geëxtraheerde signaal ${\ DisplayStyle \ Mathbf {y}}$ om maximaal te zijn wanneer ${\ DisplayStyle \ Mathbf {W}}$ is orthogonaal voor de geprojecteerde assen ${\ DisplayStyle S_ {1}}$ of ${\ DisplayStyle S_ {2}}$ , omdat we weten dat de optimale gewichtsvector orthogonaal moet zijn voor een getransformeerde as ${\ DisplayStyle S_ {1}}$ of ${\ DisplayStyle S_ {2}}$ .

Voor meerdere bronmengselsignalen kunnen we kurtosis gebruiken en Gram-Schmidt Orthogonalisatie (GSO) om de signalen te herstellen. Gegeven M signaalmengsels in een M-Dimensionale ruimte, GSO Project deze gegevenspunten op een (M-1) -dimensionale ruimte met behulp van de gewichtsvector. We kunnen de onafhankelijkheid van de geëxtraheerde signalen garanderen met het gebruik van GSO.

Om de juiste waarde van te vinden ${\ DisplayStyle \ Mathbf {W}}$ , we kunnen gebruiken gradiëntafkomst methode. We bleken de gegevens allereerst op en transformeren ${\ DisplayStyle \ Mathbf {x}}$ in een nieuw mengsel ${\ DisplayStyle \ Mathbf {z}}$ , die eenheidsvariantie heeft, en ${\ displayStyle \ Mathbf {z} = (z_ {1}, z_ {2}, \ ldots, z_ {m})^{t}}$ . Dit proces kan worden bereikt door toe te passen Singuliere waarden ontbinding tot ${\ DisplayStyle \ Mathbf {x}}$ ,,

{\ DisplayStyle \ Mathbf {x} = \ Mathbf {u} \ Mathbf {d} \ Mathbf {v} ^{t}}

Elke vector opnieuw schalen ${\ displaystyle u_ {i} = u_ {i}/\ operatorName {e} (u_ {i}^{2})}$ , en laat ${\ DisplayStyle \ Mathbf {z} = \ Mathbf {u}}$ . Het signaal geëxtraheerd door een gewogen vector ${\ DisplayStyle \ Mathbf {W}}$ is ${\ DisplayStyle \ Mathbf {y} = \ Mathbf {w} ^{t} \ Mathbf {z}}$ . Als de gewichtsvector w heeft eenheid lengte, dan de variantie van y is ook 1, dat is ${\ DisplayStyle \ OperatorName {e} [(\ Mathbf {w} ^{t} \ Mathbf {z}) ^{2}] = 1}$ . De kurtosis kan dus worden geschreven als:

{\ displayStyle k = {\ frac {\ operatorName {e} [\ mathbf {y} ^{4}]} {(\ operatorName {e} [\ mathbf {y} ^{2}]) ^{2}} } -3 = \ operatorName {e} [(\ Mathbf {w} ^{t} \ Mathbf {z}) ^{4}]-3.}

Het updateproces voor ${\ DisplayStyle \ Mathbf {W}}$ is:

{\ DisplayStyle \ Mathbf {W} _ {new} = \ Mathbf {w} _ {old}-\ eta \ operatorName {e} [\ mathbf {z} (\ mathbf {w} _ {oud} \ mathbf {z})^{3}].}

waar ${\ DisplayStyle \ eta}$ is een kleine constante om dat te garanderen ${\ DisplayStyle \ Mathbf {W}}$ convergeert naar de optimale oplossing. Na elke update normaliseren we ${\ DisplayStyle \ Mathbf {w} _ {new} = {\ frac {\ mathbf {w} _ {new}} {| \ mathbf {w} _ {new} |}}}$ , En instellen ${\ DisplayStyle \ Mathbf {W} _ {old} = \ Mathbf {w} _ {new}}$ en herhaal het updateproces tot de convergentie. We kunnen ook een ander algoritme gebruiken om de gewichtsvector bij te werken ${\ DisplayStyle \ Mathbf {W}}$ .

Een andere aanpak is gebruiken negentropie^[11]^[12] in plaats van kurtosis. Het gebruik van negentropie is een robuustere methode dan kurtosis, omdat kurtosis erg gevoelig is voor uitbijters. De Negentropy -methoden zijn gebaseerd op een belangrijke eigenschap van Gaussiaanse verdeling: een Gaussiaanse variabele heeft de grootste entropie tussen alle continue willekeurige variabelen van gelijke variantie. Dit is ook de reden waarom we de meest Nongaussiaanse variabelen willen vinden. Een eenvoudig bewijs is te vinden in Differentiële entropie.

{\ displaystyle j (x) = s (y) -s (x) \,}

y is een Gaussiaanse willekeurige variabele van dezelfde covariantiematrix als x

{\ displaystyle s (x) =-\ int p_ {x} (u) \ log p_ {x} (u) du}

Een benadering voor negentropie is

{\ displayStyle j (x) = {\ frac {1} {12}} (e (x^{3}))^{2}+{\ frac {1} {48}} (kurt (x))^ {2}}

Een bewijs is te vinden in de originele papieren van Comon;^[13]^[11] het is in het boek gereproduceerd Onafhankelijke componentanalyse door Aapo Hyvärinen, Juha Karhunen, en Erkki oja^[14] Deze benadering lijdt ook aan hetzelfde probleem als kurtosis (gevoeligheid voor uitbijters). Andere benaderingen zijn ontwikkeld.^[15]

{\ displayStyle j (y) = k_ {1} (e (g_ {1} (y)))^{2}+k_ {2} (e (g_ {2} (y))-e (g_ {2 } (v))^{2}}

Een keuze uit ${\ displaystyle g_ {1}}$ en ${\ displaystyle g_ {2}}$ zijn

{\ displaystyle g_ {1} = {\ frac {1} {a_ {1}}} \ log (\ cosh (a_ {1} u))}

en

{\ displaystyle g_ {2} =-\ exp (-{\ frac {u^{2}} {2}})}

Gebaseerd op infomax

Infomax ICA^[16] is in wezen een multivariate, parallelle versie van Projection Pursuit. Terwijl projectie -achtervolging een reeks signalen één voor één uithaalt uit een set van M Signaalmengsels, ICA -extracten M signalen parallel. Dit maakt ICA meestal robuuster dan projectie -achtervolging.^[17]

De Projection Pursuit -methode gebruikt Gram-Schmidt orthogonalisatie om de onafhankelijkheid van het geëxtraheerde signaal te waarborgen, terwijl ICA wordt gebruikt infomax en maximale kans Schat om de onafhankelijkheid van het geëxtraheerde signaal te waarborgen. De niet-normaliteit van het geëxtraheerde signaal wordt bereikt door een geschikt model of voorafgaand aan het signaal toe te wijzen.

Het proces van ICA gebaseerd op infomax Kortom, is: gegeven een set signaalmengsels ${\ DisplayStyle \ Mathbf {x}}$ en een set identiek onafhankelijk model Cumulatieve distributiefuncties(CDFS) ${\ displaystyle g}$ , we zoeken de onmensde matrix ${\ DisplayStyle \ Mathbf {W}}$ die het gewricht maximaliseert entropie van de signalen ${\ DisplayStyle \ Mathbf {y} = G (\ Mathbf {y})}$ , waar ${\ DisplayStyle \ Mathbf {y} = \ Mathbf {wx}}$ zijn de signalen geëxtraheerd door ${\ DisplayStyle \ Mathbf {W}}$ . Gezien het optimale ${\ DisplayStyle \ Mathbf {W}}$ , de signalen ${\ DisplayStyle \ Mathbf {y}}$ hebben maximale entropie en zijn daarom onafhankelijk, wat ervoor zorgt dat de geëxtraheerde signalen ${\ DisplayStyle \ Mathbf {y} = g^{-1} (\ Mathbf {y})}$ zijn ook onafhankelijk. ${\ displaystyle g}$ is een omkeerbare functie en is het signaalmodel. Merk op dat als het bronsignaalmodel waarschijnlijkheidsdichtheidsfunctie ${\ displaystyle p_ {s}}$ komt overeen met de waarschijnlijkheidsdichtheidsfunctie van het geëxtraheerde signaal ${\ DisplayStyle P _ {\ Mathbf {y}}}$ , vervolgens maximaliseren van de gewrichtsentropie van ${\ displaystyle y}$ maximaliseert ook de hoeveelheid wederzijdse informatie tussen ${\ DisplayStyle \ Mathbf {x}}$ en ${\ DisplayStyle \ Mathbf {y}}$ . Om deze reden staat het gebruik van entropie om onafhankelijke signalen te extracteren bekend als infomax.

Overweeg de entropie van de vectorvariabele ${\ DisplayStyle \ Mathbf {y} = G (\ Mathbf {y})}$ , waar ${\ DisplayStyle \ Mathbf {y} = \ Mathbf {wx}}$ is de set signalen geëxtraheerd door de Unmixing Matrix ${\ DisplayStyle \ Mathbf {W}}$ . Voor een eindige set waarden bemonsterd uit een verdeling met PDF ${\ DisplayStyle P _ {\ Mathbf {y}}}$ , de entropie van ${\ DisplayStyle \ Mathbf {y}}$ kan worden geschat als:

{\ displayStyle H (\ Mathbf {y}) =-{\ frac {1} {n}} \ sum _ {t = 1}^{n} \ ln p _ {\ mathbf {y}} (\ mathbf {y } ^{t})}

De gewricht PDF ${\ DisplayStyle P _ {\ Mathbf {y}}}$ kan worden aangetoond dat ze gerelateerd zijn aan de gewricht PDF ${\ DisplayStyle P _ {\ Mathbf {y}}}$ van de geëxtraheerde signalen door de multivariate vorm:

{\ displaystyle p _ {\ mathbf {y}} (y) = {\ frac {p _ {\ mathbf {y}} (\ mathbf {y})} {| {\ frac {\ partial \ mathbf {y}}} {\ mathbf {y}}} {y}}} {\ mathbf {y}}} {y}}} {y}}} {y}}} \ partial \ mathbf {y}}}} |}}}

waar ${\ displayStyle \ Mathbf {j} = {\ frac {\ partial \ mathbf {y}} {\ partial \ mathbf {y}}}}$ is de Jacobiaanse matrix. Wij hebben ${\ displayStyle | \ Mathbf {j} | = g '(\ mathbf {y})}$ , en ${\ displaystyle g '}$ Wordt de PDF aangenomen voor bronsignalen ${\ displaystyle g '= p_ {s}}$ , daarom,

{\ displaystyle p _ {\ mathbf {y}} (y) = {\ frac {p _ {\ mathbf {y}} (\ mathbf {y})} {| {\ frac {\ partial \ mathbf {y}}} {\ mathbf {y}}} {y}}} {\ mathbf {y}}} {y}}} {y}}} {y}}} \ partial \ mathbf {y}}}} |}} = {\ frac {p _ {\ mathbf {y}} (\ mathbf {y})} {p _ {\ mathbf {s}} (\ mathbf {y})}} }}

daarom,

{\ displayStyle h (\ mathbf {y}) =-{\ frac {1} {n}} \ sum _ {t = 1}^{n} \ ln {\ frac {p _ {\ mathbf {y}} ( \ mathbf {y})} {p _ {\ mathbf {s}} (\ mathbf {y})}}}

We weten dat wanneer ${\ DisplayStyle P _ {\ Mathbf {y}} = P_ {S}}$ , ${\ DisplayStyle P _ {\ Mathbf {y}}}$ is van uniforme verdeling, en ${\ DisplayStyle H ({\ Mathbf {y}})}$ is gemaximaliseerd. Sinds

p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf { y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}

waar ${\ DisplayStyle | \ Mathbf {W} |}$ is de absolute waarde van de bepalende factor van de ontmengingsmatrix ${\ DisplayStyle \ Mathbf {W}}$ . Daarom,

{\ displayStyle H (\ Mathbf {y}) =-{\ frac {1} {n}} \ sum _ {t = 1}^{n} \ ln {\ frac {p _ {\ mathbf {x}} ( \ mathbf {x} ^{t})} {| \ mathbf {w} | p _ {\ mathbf {s}} (\ mathbf {y} ^{t})}}}}

dus,

{\ displayStyle h (\ mathbf {y}) = {\ frac {1} {n}} \ sum _ {t = 1}^{n} \ ln p _ {\ mathbf {s}} (\ mathbf {y} ^{t})+\ ln | \ mathbf {w} |+h (\ mathbf {x})}

sinds ${\ displayStyle H (\ Mathbf {x}) =-{\ frac {1} {n}} \ sum _ {t = 1}^{n} \ ln p _ {\ mathbf {x}} (\ mathbf {x } ^{t})}$ en maximaliseren ${\ DisplayStyle \ Mathbf {W}}$ heeft geen invloed op ${\ DisplayStyle H _ {\ Mathbf {x}}}$ , dus we kunnen de functie maximaliseren

{\ displayStyle h (\ mathbf {y}) = {\ frac {1} {n}} \ sum _ {t = 1}^{n} \ ln p _ {\ mathbf {s}} (\ mathbf {y} ^{t})+\ ln | \ mathbf {w} |}

om de onafhankelijkheid van het geëxtraheerde signaal te bereiken.

Als er zijn M Marginale PDF's van de modelgewricht PDF ${\ DisplayStyle P _ {\ Mathbf {s}}}$ zijn onafhankelijk en gebruiken het algemeen super-Gaussiaanse model PDF voor de bronsignalen ${\ displaystyle p _ {\ mathbf {s}} = (1- \ tanh (\ mathbf {s})^{2})}}$ , dan hebben we

{\ displayStyle h (\ mathbf {y}) = {\ frac {1} {n}} \ sum _ {i = 1}^{m} \ sum _ {t = 1}^{n} \ ln (1 -\ tanh (\ mathbf {w_ {i}^{t} x^{t}})^{2})+\ ln | \ mathbf {w} |}

In de som, gegeven een waargenomen signaalmengsel ${\ DisplayStyle \ Mathbf {x}}$ , de overeenkomstige set geëxtraheerde signalen ${\ DisplayStyle \ Mathbf {y}}$ en bronsignaalmodel ${\ displaystyle p _ {\ mathbf {s}} = g '}$ , we kunnen de optimale unmixing -matrix vinden ${\ DisplayStyle \ Mathbf {W}}$ en maak de geëxtraheerde signalen onafhankelijk en niet-Gaussiaans. Net als de Projection Pursuit -situatie, kunnen we de gradiëntafstemmingsmethode gebruiken om de optimale oplossing van de Unmixing Matrix te vinden.

Gebaseerd op maximale waarschijnlijkheidsschatting

Maximale kans Schatting (MLE) is een standaard statistisch hulpmiddel voor het vinden van parameterwaarden (bijv. De Unmixing Matrix ${\ DisplayStyle \ Mathbf {W}}$ ) die het beste passen van sommige gegevens (bijvoorbeeld de geëxtraheerde signalen ${\ displaystyle y}$ ) aan een gegeven een model (bijvoorbeeld de veronderstelde gewrichtskansdichtheidsfunctie (PDF) ${\ displaystyle p_ {s}}$ van bronsignalen).^[17]

De Ml "Model" bevat een specificatie van een PDF, die in dit geval de PDF is ${\ displaystyle p_ {s}}$ van de onbekende bronsignalen ${\ DisplayStyle S}$ . Gebruik makend van ML ICA, het doel is het vinden van een ontsmettende matrix die geëxtraheerde signalen oplevert ${\ displaystyle y = \ mathbf {w} x}$ Met een gezamenlijke PDF zo vergelijkbaar mogelijk met de gewricht PDF ${\ displaystyle p_ {s}}$ van de onbekende bronsignalen ${\ DisplayStyle S}$ .

Mle is dus gebaseerd op de veronderstelling dat als het model PDF ${\ displaystyle p_ {s}}$ en de modelparameters ${\ DisplayStyle \ Mathbf {A}}$ zijn correct, dan moet een hoge kans worden verkregen voor de gegevens ${\ displaystyle x}$ die eigenlijk werden waargenomen. Omgekeerd, als ${\ DisplayStyle \ Mathbf {A}}$ is verre van de juiste parameterwaarden, dan zou een lage waarschijnlijkheid van de waargenomen gegevens worden verwacht.

Gebruik makend van Mle, we noemen de waarschijnlijkheid van de waargenomen gegevens voor een gegeven set modelparameterwaarden (bijv. Een PDF ${\ displaystyle p_ {s}}$ en een matrix ${\ DisplayStyle \ Mathbf {A}}$ ) de waarschijnlijkheid van de modelparameterwaarden gegeven de waargenomen gegevens.

We definiëren een waarschijnlijkheid functie ${\ DisplayStyle \ Mathbf {L (W)}}$ van ${\ DisplayStyle \ Mathbf {W}}$ :

${\ displayStyle \ Mathbf {l (w)} = p_ {s} (\ mathbf {w} x) | \ det \ mathbf {w} |.}$

Dit is gelijk aan de waarschijnlijkheidsdichtheid bij ${\ displaystyle x}$ , sinds ${\ DisplayStyle S = \ Mathbf {W} x}$ .

Dus als we een ${\ DisplayStyle \ Mathbf {W}}$ Dat heeft het meest waarschijnlijk de waargenomen mengsels gegenereerd ${\ displaystyle x}$ van de onbekende bronsignalen ${\ DisplayStyle S}$ met PDF ${\ displaystyle p_ {s}}$ dan hoeven we dat alleen te vinden ${\ DisplayStyle \ Mathbf {W}}$ die de waarschijnlijkheid ${\ DisplayStyle \ Mathbf {L (W)}}$ . De ontmengende matrix die de vergelijking maximaliseert, staat bekend als de Mle van de optimale ontwijkende matrix.

Het is gebruikelijk om het logboek te gebruiken waarschijnlijkheid, omdat dit gemakkelijker te evalueren is. Omdat de logaritme een monotone functie is, de ${\ DisplayStyle \ Mathbf {W}}$ Dat maximaliseert de functie ${\ DisplayStyle \ Mathbf {L (W)}}$ maximaliseert ook zijn logaritme ${\ DisplayStyle \ ln \ Mathbf {l (w)}}$ . Hierdoor kunnen we de logaritme van de bovenstaande vergelijking nemen, die het logboek oplevert waarschijnlijkheid functie

${\ displaystyle \ ln \ mathbf {l (w)} = \ sum _ {i} \ sum _ {t} \ ln p_ {s} (w_ {i}^{t} x_ {t})+n \ ln | \ det \ mathbf {w} |}$

Als we een veelgebruikte high-Kurtosis Model PDF voor de bronsignalen ${\ displaystyle p_ {s} = (1- \ tanh (s)^{2})}$ dan hebben we

${\ displaystyle \ ln \ mathbf {l (w)} = {1 \ over n} \ sum _ {i}^{m} \ sum _ {t}^{n} \ ln (1- \ tanh (w_ {w_ { i}^{t} x_ {t})^{2})+\ ln | \ det \ mathbf {w} |}$

Deze matrix ${\ DisplayStyle \ Mathbf {W}}$ die deze functie maximaliseert, is de maximale kans schatting.

Geschiedenis en achtergrond

Het vroege algemene kader voor onafhankelijke componentanalyse werd geïntroduceerd door Jeanny Hérault en Bernard Ans uit 1984,^[18] Verder ontwikkeld door Christian Jutten in 1985 en 1986,^[19]^[20]^[21] en verfijnd door Pierre Comon in 1991,^[13] en populair in zijn paper van 1994.^[11] In 1995, Tony Bell en Terry Sejnowski introduceerde een snel en efficiënt ICA -algoritme gebaseerd op infomax, een principe geïntroduceerd door Ralph Linsker in 1987.

Er zijn veel algoritmen beschikbaar in de literatuur die ICA doen. Een grotendeels gebruikte, inclusief in industriële toepassingen, is het Fastica -algoritme, ontwikkeld door Hyvärinen en OJA, dat de negentropie als kostenfunctie.^[22] Andere voorbeelden zijn eerder gerelateerd aan Blinde bronscheiding waar een meer algemene aanpak wordt gebruikt. Men kan bijvoorbeeld de veronderstelling van onafhankelijkheid verlagen en scheiden wederzijds gecorreleerde signalen, dus statistisch "afhankelijke" signalen. Sepp hochreiter en Jürgen Schmidhuber toonde hoe je niet-lineaire ICA of bronscheiding kunt verkrijgen als bijproduct van regularisatie (1999).^[23] Hun methode vereist geen a priori kennis over het aantal onafhankelijke bronnen.

Toepassingen

ICA kan worden uitgebreid om niet-fysieke signalen te analyseren. ICA is bijvoorbeeld toegepast om discussieonderwerpen te ontdekken op een zak met nieuwslijstarchieven.

Sommige ICA -applicaties worden hieronder vermeld:^[4]

Onafhankelijke componentanalyse in Eeglab

Optische beeldvorming van neuronen^[24]
Neuronale pieksorteren^[25]
gezichtsherkenning^[26]
Modellering van receptieve velden van primaire visuele neuronen^[27]
Voorspelling van de aandelenmarktprijzen^[28]
Mobiele telefooncommunicatie^[29]
Op kleur gebaseerde detectie van de rijpheid van tomaten^[30]
Artefacten verwijderen, zoals oog knippert, uit EEG gegevens.^[31]
Besluitvorming voorspellen met behulp van EEG^[32]
Analyse van veranderingen in genexpressie in de tijd in single cel RNA-sequencing experimenten.^[33]
Studies van de Rustend State Network van de hersenen.^[34]
Astronomie en kosmologie^[35]
financiën^[36]

Beschikbaarheid

ICA kan worden toegepast via de volgende software:

SAS Proc ica
Scikit-Learn Python implementatie sklearn.decomposition.fastica

Zie ook

Aantekeningen

^ "Onafhankelijke componentanalyse: een demo".
^ Hyvärinen, AAPO (2013). "Onafhankelijke componentanalyse: recente ontwikkelingen". Filosofische transacties: wiskundige, fysieke en technische wetenschappen. 371 (1984): 20110534. Bibcode:2012rspta.37110534H. doen:10.1098/rsta.2011.0534. ISSN 1364-503X. Jstor 41739975. PMC 3538438. Pmid 23277597.
^ Isomura, Takuya; Toyoizumi, Taro (2016). "Een lokale leerregel voor onafhankelijke componentanalyse". Wetenschappelijke rapporten. 6: 28073. Bibcode:2016natsr ... 628073i. doen:10.1038/SREP28073. PMC 4914970. Pmid 27323661.
^ ^a ^b Stone, James V. (2004). Onafhankelijke componentanalyse: een tutorial -introductie. Cambridge, Massachusetts: MIT Press. ISBN 978-0-262-69315-8.
^ Hyvärinen, AAPO; Karhunen, Juha; OJA, Erkki (2001). Onafhankelijke componentanalyse (1e ed.). New York: John Wiley & Sons. ISBN 978-0-471-22131-9.
^ Johan Himbergand Aapo Hyvärinen, Onafhankelijke componentanalyse voor binaire gegevens: een experimenteel onderzoek, Proc. Int. Workshop over onafhankelijke componentanalyse en blinde signaalscheiding (ICA2001), San Diego, Californië, 2001.
^ Huy Nguyen en Rong Zheng, Binaire onafhankelijke componentanalyse met of mengsels, IEEE -transacties op signaalverwerking, Vol. 59, nummer 7. (juli 2011), pp. 3168–3181.
^ Painsky, Amichai; Rosset, Saharon; Feder, Meir (2014). Gegeneraliseerde binaire onafhankelijke componentanalyse. IEEE International Symposium on Information Theory (ISIT), 2014. pp. 1326–1330. doen:10.1109/isit.2014.6875048. ISBN 978-1-4799-5186-4. S2CID 18579555.
^ James V. Stone (2004); "Onafhankelijke componentanalyse: een tutorial introductie", The MIT Press Cambridge, Massachusetts, Londen, Engeland; ISBN0-262-69315-1
^ Kruskal, JB. 1969; "Naar een praktische methode die helpt bij het blootleggen van de structuur van een reeks observaties door de lijntransformatie te vinden die een nieuwe" index van condensatie "optimaliseert, pagina's 427–440 van: Milton, RC, & Nelder, JA (eds), statistische berekening ; New York, academische pers
^ ^a ^b ^c Pierre Comon (1994) Onafhankelijke componentanalyse, een nieuw concept? http://www.ece.ucsb.edu/wcsl/courses/ece594/594c_f10madhow/comon94.pdf
^ Hyvärinen, AAPO; Erkki Oja (2000). "Onafhankelijke componentanalyse: algoritmen en toepassingen". Neurale netwerken. 4-5. 13 (4–5): 411–430. Citeseerx 10.1.1.79.7003. doen:10.1016/S0893-6080 (00) 00026-5. Pmid 10946390.
^ ^a ^b P.comon, Independent Component Analysis, Workshop on Hogere-Order Statistics, juli 1991, opnieuw gepubliceerd in J-L. Lacoume, redacteur, hogere orde statistieken, pp. 29-38. Elsevier, Amsterdam, Londen, 1992. HAL Link
^ Hyvärinen, AAPO; Karhunen, Juha; OJA, Erkki (2001). Onafhankelijke componentanalyse (Reprint ed.). New York, NY: Wiley. ISBN 978-0-471-40540-5.
^ Hyvärinen, AAPO (1998). "Nieuwe benaderingen van differentiële entropie voor onafhankelijke componentanalyse en projectie -achtervolging". Vooruitgang in neurale informatieverwerkingssystemen. 10: 273–279.
^ Bell, A. J.; Sejnowski, T. J. (1995). "Een informatie-maximalisatiebenadering van blinde scheiding en blinde deconvolutie", Neural Computation, 7, 1129-1159
^ ^a ^b James V. Stone (2004). "Onafhankelijke componentanalyse: een tutorial introductie", The MIT Press Cambridge, Massachusetts, Londen, Engeland; ISBN0-262-69315-1
^ Hérault, J.; Ans, B. (1984). "Réseau de neurones à synapses Modifiables: décodage de berichten sensoriels composites par -leer niet -toezicht en permanent". Comptes Rendus de l'Académie des Sciences, Série III. 299: 525–528.
^ Ans, B., Hérault, J., & Jutten, C. (1985). Architecturen Neuromimétiques Adaptatives: Détection de Primitives. Cognitiva 85 (Vol. 2, pp. 593-597). Parijs: Cesta.
^ Hérault, J., Jutten, C., & Ans, B. (1985). Détection de grandeurs primitives Dans un -bericht composiet par u une architectuur de calcul neuromimétique en leerling non -supervisé. Proceedings of the 10th Workshop Traitement Du Signal et SES -toepassingen (Vol. 2, pp. 1017-1022). Leuk (Frankrijk): Gretsi.
^ Hérault, J., & Jutten, C. (1986). Ruimte of tijd adaptieve signaalverwerking door neurale netwerkmodellen. Intern. Conf. Op neurale netwerken voor computergebruik (pp. 206-211). Snowbird (Utah, VS).
^ Hyvärinen, A.; OJA, E. (2000-06-01). "Onafhankelijke componentanalyse: algoritmen en toepassingen". Neurale netwerken. 13 (4): 411–430. doen:10.1016/S0893-6080 (00) 00026-5. ISSN 0893-6080. Pmid 10946390.
^ Hochreiter, Sepp; Schmidhuber, Jürgen (1999). "Functie -extractie door lococode" (PDF). Neurale berekening. 11 (3): 679–714. doen:10.1162/089976699300016629. ISSN 0899-7667. Pmid 10085426. S2CID 1642107. Opgehaald 24 februari 2018.
^ Brown, GD; Yamada, S; Sejnowski, TJ (2001). "Onafhankelijke componentenanalyse op de neurale cocktailparty". Trends in neurowetenschappen. 24 (1): 54–63. doen:10.1016/s0166-2236 (00) 01683-0. Pmid 11163888. S2CID 511254.
^ Lewicki, MS (1998). "Areview van methoden voor spike -sorteren: detectie en classificatie van neurale actiepotentialen". Netwerk: berekening in neurale systemen. 9 (4): 53–78. doen:10.1088/0954-898x_9_4_001. S2CID 10290908.
^ Barlett, MS (2001). Face -beeldanalyse door niet -gecontroleerd leren. Boston: Kluwer International Series on Engineering and Computer Science.
^ Bell, aj; Sejnowski, TJ (1997). "De onafhankelijke componenten van natuurlijke scènes zijn randfilters". Visieonderzoek. 37 (23): 3327–3338. doen:10.1016/S0042-6989 (97) 00121-1. PMC 2882863. Pmid 9425547.
^ Terug, advertentie; Weigend, AS (1997). "Een eerste toepassing van onafhankelijke componentanalyse op het extraheren van structuur uit voorraadrendementen". International Journal of Neural Systems. 8 (4): 473–484. doen:10.1142/s0129065797000458. Pmid 9730022. S2CID 872703.
^ Hyvarinen, A, Karhunen, J & Oja, E (2001a). Onafhankelijke componentanalyse. New York: John Wiley and Sons.
^ Polder, G; Van der Heijen, Fwam (2003). "Schatting van samengestelde verdeling in spectrale afbeeldingen van tomaten met behulp van onafhankelijke componentanalyse". Oostenrijkse computermaatschappij: 57–64.
^ Delorme, a; Sejnowski, t; Makeig, S (2007). "Verbeterde detectie van artefacten in EEG-gegevens met behulp van hogere-orde statistieken en onafhankelijke componentanalyse". Neuroimage. 34 (4): 1443–1449. doen:10.1016/j.neuroimage.2006.11.004. PMC 2895624. Pmid 17188898.
^ Douglas, P (2013). "Single Trial Decodering van geloofsbeslissingen van EEG- en FMRI -gegevens met behulp van onafhankelijke componentenfuncties". Frontiers in menselijke neurowetenschappen. 7: 392. doen:10.3389/fnhum.2013.00392. PMC 3728485. Pmid 23914164.
^ Trapnell, C; Cacchiarelli, D; Grimsby, J (2014). "De dynamiek en regulatoren van beslissingen over het lot van cellen worden onthuld door pseudotemporele ordening van afzonderlijke cellen". Nature Biotechnology. 32 (4): 381–386. doen:10.1038/nbt.2859. PMC 4122333. Pmid 24658644.
^ Kiviniemi, Vesa J.; Kantola, Juha-Heikki; Jauhiainen, Juka; Hyvärinen, AAPO; Tervonen, Osmo (2003). "Onafhankelijke componentanalyse van niet -deterministische fMRI -signaalbronnen". Neuroimage. 19 (2): 253–260. doen:10.1016/s1053-8119 (03) 00097-1. Pmid 12814576. S2CID 17110486.
^ Wang, Jingyy; Xu, Haiguang; Gu, Junhua; An, tao; Cui, Haijuan; Li, Jianxun; Zhang, Zhongli; Zheng, Qian; Wu, Xiang-Ping (2010-11-01). "Hoe helaxy-clusters te identificeren en te scheiden van de laagfrequente radiohemel?". The Astrophysical Journal. 723 (1): 620–633. arxiv:1008.3391. Bibcode:2010apj ... 723..620w. doen:10.1088/0004-637x/723/1/620. ISSN 0004-637X.
^ Moraux, Franck; Villa, Christophe (2003). "De dynamiek van de term structuur van rentetarieven: een onafhankelijke componentanalyse". Connectionist -benaderingen in economie en managementwetenschappen: 215–232. doen:10.1007/978-1-4757-3722-6_11. ISBN 978-1-4757-3722-6.

Referenties

Comon, Pierre (1994): "Onafhankelijke componentanalyse: een nieuw concept?", Signaalverwerking, 36 (3): 287–314 (het originele artikel dat het concept van ICA beschrijft)
Hyvärinen, A.; Karhunen, J.; Oja, E. (2001): Onafhankelijke componentanalyse, New York: Wiley, ISBN978-0-471-40540-5 ( Inleidend hoofdstuk )
Hyvärinen, A.; Oja, E. (2000): "Onafhankelijke componentanalyse: algoritmen en toepassing", Neurale netwerken, 13 (4-5): 411-430. (Technische maar pedagogische introductie).
Comon, P.; Jutten C., (2010): Handbook of Blind Source Separation, Independent Component Analysis and Applications. Academic Press, Oxford UK. ISBN978-0-12-374726-6
Lee, T.-W. (1998): Onafhankelijke componentanalyse: theorie en toepassingen, Boston, Mass: Kluwer Academic Publishers, ISBN0-7923-8261-7
Acharyya, Ranjan (2008): Een nieuwe benadering voor blinde bronscheiding van convolutieve bronnen - op wavelet gebaseerde scheiding met behulp van krimpfunctie ISBN3-639-07797-0 ISBN978-3639077971 (Dit boek richt zich op zonder toezicht leren met blinde bronscheiding)

Externe links

Wat is onafhankelijke componentanalyse? door AAPO Hyvärinen
Onafhankelijke componentanalyse: een tutorial door AAPO Hyvärinen
Een zelfstudie over onafhankelijke componentanalyse
Fastica als een pakket voor matlab, in r taal, c ++
Icalab toolboxen voor Matlab, ontwikkeld op Riken
High Performance Signal Analysis Toolkit Biedt C ++ implementaties van fastica en infomax
ICA Toolbox MATLAB-tools voor ICA met bel-sejnowski, Molgedy-Schuster en gemiddelde veld ICA. Ontwikkeld bij DTU.
Demonstratie van het probleem van het cocktailparty
Eeglab -toolbox ICA van EEG voor MATLAB, ontwikkeld bij UCSD.
FMRLAB -toolbox ICA van fMRI voor MATLAB, ontwikkeld bij UCSD
Melodieus, deel van de FMRIB -softwarebibliotheek.
Bespreking van ICA die wordt gebruikt in een context van biomedische vorm-representatie
Fastica, Cubica, Jade en TDSEP -algoritme voor Python en meer ...
Group ICA Toolbox en Fusion ICA Toolbox
Zelfstudie: ICA gebruiken voor het reinigen van EEG -signalen

[1] "Onafhankelijke componentanalyse: een demo".

[2] Hyvärinen, AAPO (2013). "Onafhankelijke componentanalyse: recente ontwikkelingen". Filosofische transacties: wiskundige, fysieke en technische wetenschappen. 371 (1984): 20110534. Bibcode:2012rspta.37110534H. doen:10.1098/rsta.2011.0534. ISSN 1364-503X. Jstor 41739975. PMC 3538438. Pmid 23277597.

[3] Isomura, Takuya; Toyoizumi, Taro (2016). "Een lokale leerregel voor onafhankelijke componentanalyse". Wetenschappelijke rapporten. 6: 28073. Bibcode:2016natsr ... 628073i. doen:10.1038/SREP28073. PMC 4914970. Pmid 27323661.

[Stone_2004-4] Stone, James V. (2004). Onafhankelijke componentanalyse: een tutorial -introductie. Cambridge, Massachusetts: MIT Press. ISBN 978-0-262-69315-8.

[5] Hyvärinen, AAPO; Karhunen, Juha; OJA, Erkki (2001). Onafhankelijke componentanalyse (1e ed.). New York: John Wiley & Sons. ISBN 978-0-471-22131-9.

[Hyvärinen-6] Johan Himbergand Aapo Hyvärinen, Onafhankelijke componentanalyse voor binaire gegevens: een experimenteel onderzoek, Proc. Int. Workshop over onafhankelijke componentanalyse en blinde signaalscheiding (ICA2001), San Diego, Californië, 2001.

[Huyna-7] Huy Nguyen en Rong Zheng, Binaire onafhankelijke componentanalyse met of mengsels, IEEE -transacties op signaalverwerking, Vol. 59, nummer 7. (juli 2011), pp. 3168–3181.

[Generalized_Binary_ICA-8] Painsky, Amichai; Rosset, Saharon; Feder, Meir (2014). Gegeneraliseerde binaire onafhankelijke componentanalyse. IEEE International Symposium on Information Theory (ISIT), 2014. pp. 1326–1330. doen:10.1109/isit.2014.6875048. ISBN 978-1-4799-5186-4. S2CID 18579555.

[James_V._Stone_2004-9] James V. Stone (2004); "Onafhankelijke componentanalyse: een tutorial introductie", The MIT Press Cambridge, Massachusetts, Londen, Engeland; ISBN0-262-69315-1

[10] Kruskal, JB. 1969; "Naar een praktische methode die helpt bij het blootleggen van de structuur van een reeks observaties door de lijntransformatie te vinden die een nieuwe" index van condensatie "optimaliseert, pagina's 427–440 van: Milton, RC, & Nelder, JA (eds), statistische berekening ; New York, academische pers

[comon94-11] Pierre Comon (1994) Onafhankelijke componentanalyse, een nieuw concept? http://www.ece.ucsb.edu/wcsl/courses/ece594/594c_f10madhow/comon94.pdf

[12] Hyvärinen, AAPO; Erkki Oja (2000). "Onafhankelijke componentanalyse: algoritmen en toepassingen". Neurale netwerken. 4-5. 13 (4–5): 411–430. Citeseerx 10.1.1.79.7003. doen:10.1016/S0893-6080 (00) 00026-5. Pmid 10946390.

[pc91-13] P.comon, Independent Component Analysis, Workshop on Hogere-Order Statistics, juli 1991, opnieuw gepubliceerd in J-L. Lacoume, redacteur, hogere orde statistieken, pp. 29-38. Elsevier, Amsterdam, Londen, 1992. HAL Link

[14] Hyvärinen, AAPO; Karhunen, Juha; OJA, Erkki (2001). Onafhankelijke componentanalyse (Reprint ed.). New York, NY: Wiley. ISBN 978-0-471-40540-5.

[15] Hyvärinen, AAPO (1998). "Nieuwe benaderingen van differentiële entropie voor onafhankelijke componentanalyse en projectie -achtervolging". Vooruitgang in neurale informatieverwerkingssystemen. 10: 273–279.

[Bell-Sejnowski-16] Bell, A. J.; Sejnowski, T. J. (1995). "Een informatie-maximalisatiebenadering van blinde scheiding en blinde deconvolutie", Neural Computation, 7, 1129-1159

[ReferenceA-17] James V. Stone (2004). "Onafhankelijke componentanalyse: een tutorial introductie", The MIT Press Cambridge, Massachusetts, Londen, Engeland; ISBN0-262-69315-1

[18] Hérault, J.; Ans, B. (1984). "Réseau de neurones à synapses Modifiables: décodage de berichten sensoriels composites par -leer niet -toezicht en permanent". Comptes Rendus de l'Académie des Sciences, Série III. 299: 525–528.

[19] Ans, B., Hérault, J., & Jutten, C. (1985). Architecturen Neuromimétiques Adaptatives: Détection de Primitives. Cognitiva 85 (Vol. 2, pp. 593-597). Parijs: Cesta.

[20] Hérault, J., Jutten, C., & Ans, B. (1985). Détection de grandeurs primitives Dans un -bericht composiet par u une architectuur de calcul neuromimétique en leerling non -supervisé. Proceedings of the 10th Workshop Traitement Du Signal et SES -toepassingen (Vol. 2, pp. 1017-1022). Leuk (Frankrijk): Gretsi.

[21] Hérault, J., & Jutten, C. (1986). Ruimte of tijd adaptieve signaalverwerking door neurale netwerkmodellen. Intern. Conf. Op neurale netwerken voor computergebruik (pp. 206-211). Snowbird (Utah, VS).

[22] Hyvärinen, A.; OJA, E. (2000-06-01). "Onafhankelijke componentanalyse: algoritmen en toepassingen". Neurale netwerken. 13 (4): 411–430. doen:10.1016/S0893-6080 (00) 00026-5. ISSN 0893-6080. Pmid 10946390.

[HochreiterSchmidhuber1999-23] Hochreiter, Sepp; Schmidhuber, Jürgen (1999). "Functie -extractie door lococode" (PDF). Neurale berekening. 11 (3): 679–714. doen:10.1162/089976699300016629. ISSN 0899-7667. Pmid 10085426. S2CID 1642107. Opgehaald 24 februari 2018.

[24] Brown, GD; Yamada, S; Sejnowski, TJ (2001). "Onafhankelijke componentenanalyse op de neurale cocktailparty". Trends in neurowetenschappen. 24 (1): 54–63. doen:10.1016/s0166-2236 (00) 01683-0. Pmid 11163888. S2CID 511254.

[25] Lewicki, MS (1998). "Areview van methoden voor spike -sorteren: detectie en classificatie van neurale actiepotentialen". Netwerk: berekening in neurale systemen. 9 (4): 53–78. doen:10.1088/0954-898x_9_4_001. S2CID 10290908.

[26] Barlett, MS (2001). Face -beeldanalyse door niet -gecontroleerd leren. Boston: Kluwer International Series on Engineering and Computer Science.

[27] Bell, aj; Sejnowski, TJ (1997). "De onafhankelijke componenten van natuurlijke scènes zijn randfilters". Visieonderzoek. 37 (23): 3327–3338. doen:10.1016/S0042-6989 (97) 00121-1. PMC 2882863. Pmid 9425547.

[28] Terug, advertentie; Weigend, AS (1997). "Een eerste toepassing van onafhankelijke componentanalyse op het extraheren van structuur uit voorraadrendementen". International Journal of Neural Systems. 8 (4): 473–484. doen:10.1142/s0129065797000458. Pmid 9730022. S2CID 872703.

[29] Hyvarinen, A, Karhunen, J & Oja, E (2001a). Onafhankelijke componentanalyse. New York: John Wiley and Sons.

[30] Polder, G; Van der Heijen, Fwam (2003). "Schatting van samengestelde verdeling in spectrale afbeeldingen van tomaten met behulp van onafhankelijke componentanalyse". Oostenrijkse computermaatschappij: 57–64.

[31] Delorme, a; Sejnowski, t; Makeig, S (2007). "Verbeterde detectie van artefacten in EEG-gegevens met behulp van hogere-orde statistieken en onafhankelijke componentanalyse". Neuroimage. 34 (4): 1443–1449. doen:10.1016/j.neuroimage.2006.11.004. PMC 2895624. Pmid 17188898.

[32] Douglas, P (2013). "Single Trial Decodering van geloofsbeslissingen van EEG- en FMRI -gegevens met behulp van onafhankelijke componentenfuncties". Frontiers in menselijke neurowetenschappen. 7: 392. doen:10.3389/fnhum.2013.00392. PMC 3728485. Pmid 23914164.

[33] Trapnell, C; Cacchiarelli, D; Grimsby, J (2014). "De dynamiek en regulatoren van beslissingen over het lot van cellen worden onthuld door pseudotemporele ordening van afzonderlijke cellen". Nature Biotechnology. 32 (4): 381–386. doen:10.1038/nbt.2859. PMC 4122333. Pmid 24658644.

[Kiviniemi2003-34] Kiviniemi, Vesa J.; Kantola, Juha-Heikki; Jauhiainen, Juka; Hyvärinen, AAPO; Tervonen, Osmo (2003). "Onafhankelijke componentanalyse van niet -deterministische fMRI -signaalbronnen". Neuroimage. 19 (2): 253–260. doen:10.1016/s1053-8119 (03) 00097-1. Pmid 12814576. S2CID 17110486.

[35] Wang, Jingyy; Xu, Haiguang; Gu, Junhua; An, tao; Cui, Haijuan; Li, Jianxun; Zhang, Zhongli; Zheng, Qian; Wu, Xiang-Ping (2010-11-01). "Hoe helaxy-clusters te identificeren en te scheiden van de laagfrequente radiohemel?". The Astrophysical Journal. 723 (1): 620–633. arxiv:1008.3391. Bibcode:2010apj ... 723..620w. doen:10.1088/0004-637x/723/1/620. ISSN 0004-637X.

[36] Moraux, Franck; Villa, Christophe (2003). "De dynamiek van de term structuur van rentetarieven: een onafhankelijke componentanalyse". Connectionist -benaderingen in economie en managementwetenschappen: 215–232. doen:10.1007/978-1-4757-3722-6_11. ISBN 978-1-4757-3722-6.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]