These hakim trans .pdf



Nom original: These_hakim_trans.pdf
Titre: Méthodes informées de factorisation matricielle non-négative. Application à l'identification de sources de particules industrielles.
Auteur: Gilles Delmaire

Ce document au format PDF 1.4 a été généré par LaTeX with Beamer class version 3.33 / dvips + GPL Ghostscript 9.05, et a été envoyé sur fichier-pdf.fr le 16/11/2014 à 12:34, depuis l'adresse IP 109.9.x.x. La présente page de téléchargement du fichier a été vue 1500 fois.
Taille du document: 2.3 Mo (80 pages).
Confidentialité: fichier public




Télécharger le fichier (PDF)










Aperçu du document


Méthodes informées de factorisation matricielle non-négative.
Application à l’identification de sources de particules
industrielles.
Gilles Delmaire
LISIC, EA 4491, ULCO,
Université Lille Nord de France,
Calais, France, FR-62228
gilles.delmaire@lisic.univ-littoral.fr
http://www-lisic.univ-littoral.fr/~delmaire

13 Novembre 2014

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
1http:/
/ 65

Cadre de la Présentation

Travaux de la Thèse de A. Limem (2010-2014)
Financement : Contrat industriel entre le laboratoire LISIC et le groupe
ARCELORMITTAL Lorraine Atlantique
Encadrement : G. Delmaire, G. Roussel

Equipe concernée
A. Limem, M. Plouvin, M. Puigt, G. Roussel, et G. Delmaire (LISIC– ULCO)
➥ Traitement du signal

A. Kfoury, F. Ledoux, D. Courcot (UCEIV–ULCO)
➥ Expertise en chimie

T. Desmont (ARCELORMITTAL Lorraine Atlantique)
➥ Industrie.

Motivations de l’étude pour la qualité de l’air
Exigence de l’Europe de respecter la règlementation en PM2.5.
Volonté d’expliquer les origines de ces dépassements.

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
2http:/
/ 65

Positionnement du problème (1)

Capteur de poussière en suspension dans l’air disposé dans une zone
habitée.
Dépots sur les filtres analysés a posteriori par des chimistes
Résultats rassemblés dans une matrice X de concentrations des espèces
chimiques de taille n × m (en ng/m3 )
Concentrations sont issues d’un mélange de différents profils chimiques
X ≈ G·F
➥ G est la matrice de contribution de taille n × p (ng/m3 )
➥ F est la matrice de profil des sources de taille p × m (proportions des espèces
chimiques) (ng/ng)

Matrice des incertitudes associées aux concentrations.

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
3http:/
/ 65

Positionnement du problème (2)

Gamme de valeurs des concentrations très différente
Données possiblement corrompues par des aberrations
Bruit sur les données non assimilable à un bruit gaussien.
Certains profils de source peuvent être assez corrélés.
Informations complémentaires sur la matrice de profil
Non-négativité de la matrice F
Somme à 1 de chaque ligne de F
Certains élements de la matrice F sont connus
Certains éléments de la matrice F sont bornés

Informations complémentaires sur la matrice G
Non-négativité de la matrice G
Certaines sources sont inactives selon l’orientation du vent

Challenges à relever :
➮ Comment estimer G et F à partir de X ?
➮ Comment intégrer ces informations complémentaires ?

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
4http:/
/ 65

Sommaire
1
2

Factorisation matricielle
NMF classique

3

NMF avec divergences paramétriques α-β

4

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage
Prise en compte de toutes les contraintes sur F
Performance des approches proposées

5

Factorisation matricielle informée par un modèle physique
Motivation
Modèles de propagation
Modélisation de la propagation du polluant
Incorporation d’une structure particulière dans la NMF
Initialisation de la NMF par optimisation quadratique
Performance des approches à base de modèle

6

Données réelles

7

Conclusion

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
5http:/
/ 65

Factorisation matricielle
Modèle récepteur

Modèle cumulatif des émissions de chaque source
X

G



F

·

p sources



x1,1
 .
 ..
xn,1

···
..
.
···


x1,m
.. 
. 
xn,m



z


g1,1
 .
 ..
xn,1

X ≥0

}|
···
..
.
···
G≥0

{

g1,p
.. 
. 
xn,p

F ≥0

·



f1,1
 .
 ..
fp,1

···
..
.
···


f1,m
.. 
. 
fp,m

Les matrices X , G et F représentent les grandeurs physiques suivantes :
X : Matrice de données où l’élément xij est la concentration chimique de
l’espèce j dans l’échantillon i et exprimée en ng/m3 .
G : Matrice dont chaque élément gik est la contribution massique en
ng/m3 de la source k dans l’échantillon i.
F est la matrice de profil dont chaque élément fkj est la proportion relative
en ng/ng de l’espèce chimique j par unité de masse émise par la source k.

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
6http:/
/ 65

Factorisation matricielle
Modèle récepteur

Modèle linéaire vectoriel en identification
x



G

·

f

Matrice G connue, vecteur f inconnu
Modèle linéaire en les inconnus
Modèle linéaire matriciel en identification
xi



G

·

fi

∀i ∈ {1, . . . , m}

Matrice G connue, chaque vecteur f i inconnu

∀i ∈ {1, . . . , m}

Modèle linéaire en les inconnus
Factorisation matricielle approchée
X



G

·

F

Ni G, ni F ne sont connues
Modèle non linéaire en les inconnues

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
7http:/
/ 65

Factorisation matricielle
Principales propriétés des facteurs

Différents types de propriétés recherchées de la solution
Hypothèse d’orthogonalité : les approches de type ACP (orthogonalité
imposée et positivité non respectée par le centrage et sensibilité aux
aberrations).
Hypothèse d’indépendance : les approches de type ACI (non adaptée
dans le cas de sources potentiellement corrélées ).
Hypothèse de parcimonie : les approches parcimonieuses (un dictionnaire
où les sources sont connues pour être parcimonieuses n’est pas garanti).
Hypothèse de normalisation : Approches par changement de variables.
Hypothèse de positivité : les méthodes de type Non-negative Matrix
Factorization (NMF).
Hypothèses composites : Quelle solution adopter ?

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
8http:/
/ 65

Factorisation matricielle
Principales approches

Absence de connaissances
sur les modèles et les
activités des sources

Connaissances
partielles sur les
profils des sources

Connaissances précises
sur les profils et
les modèles

Connaissances préalables sur les sources
Les approches multivariables

ACP, PMF, NMF

PMF/NMF
Avec connaissance partielle

Identification/Régression

Nombre d’échantillons nécessaires

F IGURE: Approches pour l’estimation des contributions des sources de pollution

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
9http:/
/ 65

NMF classique
Optimisation non linéaire

But : estimer G ≥ 0 et F ≥ 0 qui minimize l’écart entre X et G · F :
ˆ F}
ˆ = arg min D (X ||G · F),
{G,
W
G,F



DW (X ||G · F) , ||X − GF||2W , norme de Frobenius pondérée.
DW (X ||G · F) est une divergence quelconque
Le problème est séparable en 2 sous-problèmes couplés qui fixent
alternativement une matrice inconnue
α,β

Gk+1

= arg min DW (X ||GF k )

F k+1

= arg min DW (X ||Gk F)

G≥0

α,β

(1)

F≥0

Difficultés
Ambiguités de facteur d’échelle et de permutation
De nombreux minima locaux
La solution n’est parfois même pas un minimum local (conditions
nécessaires de KKT non vérifiées).

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
10http:/
/ 65

NMF classique
Algorithmes

1

PMF (Paatero et Tapper, 1994) : Estimation de G et F simultanément, par
linéarisation du critère de Moindres carrés pondérés (multiples minima
locaux, taille des problèmes limitée)

2

NMF (Lee et Seung, 1999) : méthodes altenées avec des mises à jour
multiplicatives (stationnarité du point limite non garantie)
NMF pondérée (Guillamet et al., 2003, Ho, 2008) : ajout d’une matrice de poids
dans la fonction de coût (confiance différente dans les données)
NMF utilisant des divergences paramétriques (Cichocki et al., 2011, Févotte et
Idier, 2011)
+ autres (p ex, ajout de parcimonie—Hoyer, 2004)

3

ANLS (Moindres carrés non-négatifs alternés—Kim & Park, 2008) : approche
alternative (comme NMF) basée sur les moindres carrés non-négatifs, coût
élevé de calcul à chaque itération ( mais moins d’itérations que la NMF).

4

BCD ( Descente en blocs de coordonnées—Kim et al., 2013) : généralise
l’approche ANLS et divise le problème en plus que 2 blocs.

5

Gradients projetés (Lin, 2007) : méthode itérative à base de gradient
courant qui projette les facteurs sur le domaine admissible.

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
11http:/
/ 65

NMF classique
Algorithme WNMF

Weighted NMF—WNMF—avec la norme de Frobenius
Optimisation
n

min

m

∑∑

G≥0,F≥0 i=1 j=1

xij − (GF)ij
σij

!2

,

où σij est le (i, j)-ème élément of Σ.
➮ Règles de Mise à jour multiplicatives —Ho, 2008 :
F ←F◦

GT (W ◦ X )
GT (W ◦ (GF))

G ← G◦

(W ◦ X )F T
(W ◦ (GF))F T

1n×m
.
où W , Σ
◦Σ

W = 1n×m , on retrouve la NMF multiplicative

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
12http:/
/ 65

NMF avec divergences paramétriques
Les divergences paramétriques α-β

Mesure d’écart asymétrique qui pénalise moins fortement certaines aberrations

F IGURE: Divergence en fonction de y.

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
13http:/
/ 65

NMF avec divergences paramétriques
Les divergences paramétriques α-β

Divergences paramétriques
(α-, β- ou) αβ-divergences paramétriques généralisent de nombreuses
divergences (KL, Bregman, Itakura-Saito, etc) et la norme de Frobenius.
Allure asymétrique, forme localement convexe et/ou concave
Extensions à des divergences pondérées, c.-a-d., pour (α, β, α + β) 6= 0 :


α
β
−1
α+β
α+β
α β
α,β
pij qij −
,
p

q
D (pij ||qij ) =
αβ
α + β ij
α + β ij


β
α
−1 (α+β)
α+β
α+β
β
α,β
.
pij −
qij
pijα qij −
(pij ||qij ) =
wij
DW
αβ
α+β
α+β

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
14http:/
/ 65

NMF avec divergences paramétriques α-β
Choix des paramètres

F IGURE: Les différentes zones d’étude en fonction de α et β (Cichocki, 2011)

Privilégier une adéquation aux données fortes : α + β > 1.
ˆ ) : α < 1.
Privilégier une estimation qui dépasse les données (Xij > X
ij

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
15http:/
/ 65

NMF avec divergences paramétriques α-β
stratégie de Majoration-Minimisation (MM)

Stratégie alternée
1
2

G connu et mise à jour de F
F connu et mise à jour de G

Règles de mise à jour obtenues par la stratégie de Majoration-Minimisation
(MM)

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
16http:/
/ 65

NMF avec divergences paramétriques α-β
stratégie de Majoration-Minimisation (MM)

Trouver une fonction auxiliaire de la fonction de coût
Une fonction auxiliaire est convexe (souvent quadratique / aux inconnus) ;
elle est supérieure ou égale (au point courant) à la fonction de coût
Recherche du minimum de cette fonction auxiliaire
➮ Fournit le nouvel itéré et la mise à jour

Fonction de coût
Fonction auxiliaire

H(θk , θ k ) = J (θ k )
J (θ k+1) = min H(θ, θ k )

θk

θ k+1

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
16http:/
/ 65

NMF avec divergences paramétriques α-β
stratégie de Majoration-Minimisation (MM)

Stratégie alternée
1
2

G connu et mise à jour de F
F connu et mise à jour de G

Règles de mise à jour obtenues par la stratégie de Majoration-Minimisation
(MM)
Méthode αβ-WNMF
Méthode multiplicative
Extension de la méthode WNMF

algorithme αβ-WNMF
1
2

Initialisation de G et F
A chaque itération k, faire
F k+1

← Fk



◦


( 1 )
α
β−1
(Gk )T W ◦X α ◦(Gk F k )
(Gk )T (W ◦(Gk F k )α+β−1 )



Gk+1 ← Gk ◦ 

W ◦X α ◦(Gk F k+1 )

β−1





(F k+1 )T

(W ◦(Gk F k+1 )α+β−1 )(F k+1 )T

( α1 )


jusque convergence

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
16http:/
/ 65

Sommaire
1
2

Factorisation matricielle
NMF classique

3

NMF avec divergences paramétriques α-β

4

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage
Prise en compte de toutes les contraintes sur F
Performance des approches proposées

5

Factorisation matricielle informée par un modèle physique
Motivation
Modèles de propagation
Modélisation de la propagation du polluant
Incorporation d’une structure particulière dans la NMF
Initialisation de la NMF par optimisation quadratique
Performance des approches à base de modèle

6

Données réelles

7

Conclusion

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
17http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF

X ≈ G·F
Aucune

Information disponible

Beaucoup

Approches aveugles

Connaissance partielle

Approches de type régression

PCA, ICA, PMF/NMF

NMF informée

Approches CMB (Chimie)

3 types d’informations complémentaires sur F :
Certains éléments de F sont connus (connaissance experte),
Certains éléments de F sont bornés (connaissance experte),
Somme de chaque ligne de F vaut 1.

Des approches intègrent certaines propriétés mais aucune l’ensemble :
Contrainte de somme à 1 (Contraintes sur les lignes—Lantéry et al., 2010—ou
contraintes sur les colonnes—Miao and Qi, 2007)
NMF Bornée (Lin, 2007)

Notre contribution majeure : paramétrisation du problème de NMF
Commençons par Certains éléments de F sont connus
Comment traiter l’ensemble de ces informations ?

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
18http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Paramétrisation des contraintes de forçage

Paramétrisation des contraintes de forçage


1 si Fij est forcé,
fij
E
E
Ωij ,
φij ,
0 sinon.
0
F s’écrit :

E

F = |ΩE{z
◦ ΦE} +Ω
◦ ∆F}.
| {z
forcé

si Ωij = 1,
sinon.

F ≥ ΦE

ΦE , F ◦ ΩE .

∆F ≥ 0

libre

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
19http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Paramétrisation des contraintes de forçage

Exemple avec p = 3 sources, m = 5 espèces, et 3 contraintes :


0
ΩE =  0
0

1
0
1

0
0
0


0
ΦE = ΩE ◦ F =  0
0

0
1
0


0
0 ,
0

80
0
30

0
0
0

0
30
0


0
0 .
0

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
19http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Paramétrisation des contraintes de forçage

Paramétrisation des contraintes de forçage


1 si Fij est forcé,
fij
E
E
Ωij ,
φij ,
0 sinon.
0
F s’écrit :

E

F = |ΩE{z
◦ ΦE} +Ω
◦ ∆F}.
| {z

si Ωij = 1,
sinon.

F ≥ ΦE

ΦE , F ◦ ΩE .

∆F ≥ 0

libre

forcé

Relation entre X et GF :

E

X ≈ G · (ΩE ◦ ΦE ) + G · (Ω ◦ ∆F),

E

X − G · (ΩE ◦ ΦE ) ≈ G · (Ω ◦ ∆F),

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
19http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Paramétrisation des contraintes de forçage

Paramétrisation des contraintes de forçage


1 si Fij est forcé,
fij
E
E
Ωij ,
φij ,
0 sinon.
0
F s’écrit :

E

F = |ΩE{z
◦ ΦE} +Ω
◦ ∆F}.
| {z

si Ωij = 1,
sinon.

F ≥ ΦE

ΦE , F ◦ ΩE .

∆F ≥ 0

libre

forcé

Relation entre X et GF :

E

X ≈ G · (ΩE ◦ ΦE ) + G · (Ω ◦ ∆F),

E

X − G · (ΩE ◦ ΦE ) ≈ G · (Ω ◦ ∆F),

2 formulations distinctes du problème :
Problème pour αβ-CWNMF
min

E

G≥0,F≥Φ

s. c.

Problème pour αβ-CWNMF-R

DW (X ||G · F),
E

F = ΩE ◦ ΦE + Ω ◦ ∆F.

min

E

G≥0,F≥Φ

s. c.

αβ
DW
(X − G · ΦE ||G · ∆F),
E

F = ΩE ◦ ΦE + Ω ◦ ∆F.

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
19http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Algorithme

Apport d’information sur F uniquement ➮ règles pour G identiques
Démonstration suit la stratégie MM.

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
20http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Algorithme

Apport d’information sur F uniquement ➮ règles pour G identiques
Démonstration suit la stratégie MM.
Règles de mise à jour pour
αβ-WNMF
α,β

F k+1 ← F k ◦ RF
"

α,β

RF

=

Règles de mise à jour pour
αβ-CWNMFs
E

avec

(Gk )T W ◦X α ◦(Gk F k )

#1
β−1

α

α,β

➮ F k+1 ← ΦE + △F k ◦ Ω ◦ RF
α,β
RF

α,β
= MF

ou

α,β
RF

avec

α,β
= NF

(Gk )T (W ◦(Gk F k )α+β−1 )

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
20http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Algorithme

Apport d’information sur F uniquement ➮ règles pour G identiques
Démonstration suit la stratégie MM.
Règles de mise à jour pour
αβ-WNMF
α,β

F k+1 ← F k ◦ RF
"

α,β

RF
1

2

=

Règles de mise à jour pour
αβ-CWNMFs
E

avec

(Gk )T W ◦X α ◦(Gk F k )

#1
β−1

α

α,β

➮ F k+1 ← ΦE + △F k ◦ Ω ◦ RF
α,β
RF

α,β
= MF

ou

α,β
RF

avec

α,β
= NF

(Gk )T (W ◦(Gk F k )α+β−1 )

Approache utilisant les résidus (αβ-CWNMF-R)

α
β−1  α1
E
E
GT W ◦ (X −GΦ )+ ◦ (G(F−Φ ))+
α,β
 .


MF = 
E
GT W ◦((G(F−Φ ))+ )(α+β−1)
Approach sans résidus (αβ-CWNMF)



1−β
β−1  α1
E
E
◦ (G(F−Φ ))+
GT W ◦X α+β−1 ◦ (X −GΦ )+
α,β

NF = 

1−α−β
E
E
GT W ◦X α+β−1 ◦ (X −GΦ )+
◦((G(F−Φ ))+ )(α+β−1)



.

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
20http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Algorithme

ΩE = 0, ΦE = 0, on retrouve la méthode αβ-WNMF
α,β

En considérant NF

α,β

NF

avec W ′ , ➮ W ′ varie au cours des itérations.


1−α−β
W ′ = W ◦ X α+β−1 ◦ (X − GΦE )+

α,β

est égal à MF

obtenu avec W .

Correspondance unique entre les deux méthodes par le choix d’une
matrice de poids appropriée.

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
21http:/
/ 65

Méthodes informées de factorisation matricielle non-négative....
1
2

Factorisation matricielle
NMF classique

3

NMF avec divergences paramétriques α-β

4

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage
Prise en compte de toutes les contraintes sur F
Performance des approches proposées

5

Factorisation matricielle informée par un modèle physique
Motivation
Modèles de propagation
Modélisation de la propagation du polluant
Incorporation d’une structure particulière dans la NMF
Initialisation de la NMF par optimisation quadratique
Performance des approches à base de modèle

6

Données réelles

7

Conclusion

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
22http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage

Normalisation 1 : G · F inchangé mais éléments forcés de F modifiés
F C1 C2 C3 C4 Somme
F 0.2 0.6 0.8 0.4
2

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
23http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage

Normalisation 1 : G · F inchangé mais éléments forcés de F modifiés
F C1 C2 C3 C4 Somme
F 0.2 0.6 0.8 0.4
2
1
F˜ 0.1 0.3 0.4 0.2

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
23http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage

Normalisation 1 : G · F inchangé mais éléments forcés de F modifiés
F C1 C2 C3 C4 Somme
F 0.2 0.6 0.8 0.4
2
˜ = 2·g
g
1
F˜ 0.1 0.3 0.4 0.2

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
23http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage

Normalisation 1 : G · F inchangé mais éléments forcés de F modifiés
F C1 C2 C3 C4 Somme
F 0.2 0.6 0.8 0.4
2
˜ = 2·g
g
1
F˜ 0.1 0.3 0.4 0.2
Normalisation 2
Eléments forcés de F inchangés mais produit G · F modifié
F C1 C2 C3 C4 Somme
F 0.2 0.5 0.8 0.4
1.9

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
23http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage

Normalisation 1 : G · F inchangé mais éléments forcés de F modifiés
F C1 C2 C3 C4 Somme
F 0.2 0.6 0.8 0.4
2
˜ = 2·g
g
1
F˜ 0.1 0.3 0.4 0.2
Normalisation 2
Eléments forcés de F
F C1 C2 C3
F 0.2 0.5 0.8
F˜ 0.2 0.5 0.2

inchangés mais produit G · F modifié
C4 Somme
0.4
1.9
0.1
1

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
23http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage

Normalisation 1 : G · F inchangé mais éléments forcés de F modifiés
F C1 C2 C3 C4 Somme
F 0.2 0.6 0.8 0.4
2
˜ = 2·g
g
1
F˜ 0.1 0.3 0.4 0.2
Normalisation 2
Eléments forcés de F
F C1 C2 C3
F 0.2 0.5 0.8
F˜ 0.2 0.5 0.2

inchangés mais produit G · F modifié
C4 Somme
0.4
1.9
˜ = ?·g
g
0.1
1

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
23http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage

Normalisation 1 : G · F inchangé mais éléments forcés de F modifiés
F C1 C2 C3 C4 Somme
F 0.2 0.6 0.8 0.4
2
˜ = 2·g
g
1
F˜ 0.1 0.3 0.4 0.2
Normalisation 2
Eléments forcés de F
F C1 C2 C3
F 0.2 0.5 0.8
F˜ 0.2 0.5 0.2

inchangés mais produit G · F modifié
C4 Somme
0.4
1.9
˜ = ?·g
g
0.1
1

Acronymes : Un choix à faire, selon la normalisation, selon l’usage de
résidus ou non
N1-CWNMF-R N1-CWNMF
N2-CWNMF-R N2-CWNMF

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
23http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage

Normalisation plutôt classique dans de nombreux domaines (c.-à-.d.,
imagerie)
1) Normaliser toutes les lignes de F (αβ-N1 -CWNMF)
αβ

E

F˜ k+1 ←

ΦE + ∆F k ◦ Ω ◦ RF
E

αβ

[ΦE + ∆F k ◦ Ω ◦ RF ] · 1mm

.

✔ Direction de plus profonde descente
✔ Pas d’effet de la normalisation sur le produit G · F
✗ Contraintes de forçage perdues (asymptotiquement préservées.)

2) Normaliser les paramètres libres seuls (αβ-N2 -CWNMF)
αβ

E

F˜ k+1 ← ΦE +

∆F k ◦ Ω ◦ RF
E

αβ

(∆F k ◦ Ω ◦ RF ) · 1mm

◦ (1pm − ΦE · 1mm ).

✔ Contraintes de forçage conservées
✗ Direction de descente différente de la plus grande pente

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
24http:/
/ 65

Méthodes informées de factorisation matricielle non-négative....
1
2

Factorisation matricielle
NMF classique

3

NMF avec divergences paramétriques α-β

4

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage
Prise en compte de toutes les contraintes sur F
Performance des approches proposées

5

Factorisation matricielle informée par un modèle physique
Motivation
Modèles de propagation
Modélisation de la propagation du polluant
Incorporation d’une structure particulière dans la NMF
Initialisation de la NMF par optimisation quadratique
Performance des approches à base de modèle

6

Données réelles

7

Conclusion

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
25http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Prise en compte de toutes les contraintes sur F

Lignes de F sont des proportions, leur somme est égal à 1
Certains éléments de F sont bornés par les experts.
Comment considérer toutes les contraintes en complément du forçage ?
➮ Approche séquentielle qui itérativement :
1
2
3

Estime G et F avec le forçage uniquement
Normalise les lignes de F
Projette des facteurs sur leur domaine admissible

ou
1
2
3

Estime G et F selon le forçage uniquement
Projette les facteurs sur leur domaine admissible
Normalise les lignes de F

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
26http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Prise en compte de toutes les contraintes sur F

La matrice binaire ΩI qui indique la présence ou l’absence de contraintes
de type inégalité sur les éléments de la matrice F.
les matrices ΦI+ et ΦI− qui représentent les bornes supérieures et inférieures
des contraintes.
ΦI− ≤ F ◦ ΩI ≤ ΦI+ .
Exemples avec p = 3 sources et m = 5 espèces.


f11 f12 f13 f14 f15
 f21 f22 f23 f24 f25 
f31 f32 f33 f34 f35



0 80 0
0 1 0 0 0


 0 1 1 1 0  ◦ F =  0 10 5
0 1 0 0 0
0 30 0


0
 0
45

0
0
0

0
0
0

10
0
0

 
0
0
60  ≤  0
0
1

0
0
0

1
0
0

1
0
0

(2)

(3)
0
30
0



0
0


1 ◦ F ≤  0
0
60


0
0 
0
0
0
0

50
0
0

(4)

80
0
0


0
75 
0
(5)

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
27http:/
/ 65

Intégration de connaissances expertes sur F dans la NMF
Prise en compte de toutes les contraintes sur F

Paramétrisation des contraintes de bornitude

1 si Fij est borné,
ΩE ◦ ΩI = 0
ΩIij =
0 sinon.

ΦI− ≤ F ◦ ΩI ≤ ΦI+ ,

Projection des facteurs sur leur domaine admissible
En pratique, nous définissons l’opérateur de projection P I comme :

 I
I−
si ΩI ◦ U ≤ ΦI− ,
 Ω ◦Φ
PΩI (U) , ΩI ◦ ΦI+ si ΩI ◦ U ≥ ΦI+ ,
 I
Ω ◦U
sinon.
8 methodes possibles :
1

Projections iterativement appliquées après la normalisation
(αβ-N1 B-CWNMF(-R), αβ-N2 B-CWNMF(-R))

2

Alternative : projeter en premier et normaliser (αβ-BN1 -CWNMF(-R),
αβ-BN2 -CWNMF(-R))

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
28http:/
/ 65

Méthodes informées de factorisation matricielle non-négative....
1
2

Factorisation matricielle
NMF classique

3

NMF avec divergences paramétriques α-β

4

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage
Prise en compte de toutes les contraintes sur F
Performance des approches proposées

5

Factorisation matricielle informée par un modèle physique
Motivation
Modèles de propagation
Modélisation de la propagation du polluant
Incorporation d’une structure particulière dans la NMF
Initialisation de la NMF par optimisation quadratique
Performance des approches à base de modèle

6

Données réelles

7

Conclusion

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
29http:/
/ 65

Performance des approches
Première série de tests

Simulations (n = 50 échantillons, m = 7 espèces chimiques)
p = 3 sources (2 industrielles + 1 naturelle)
bruit uniforme additif à support préservant la positivité.
5 contraintes de forçage
Fe
X
X
X

Ca
X
X
200

SO 2−
4
X
5
X

Zn
60
X
X

Mg
X
X
X

Al
X
X
X

Cr
0
20
X

Méthodes testées : Aveugles (αβ-NMF, αβ-WNMF) et informées
(αβ-N1 -CWNMF, αβ-N2 -CWNMF, αβ-N1 -CWNMF-R, αβ-N2 -CWNMF-R)
Mesure de performance : Mixing-Error-Ratio (MER) exprimé en dB
ˆj = g
ˆ jcoll
g

ˆ jorth ,
+g



ˆ coll 2
gj
MERj = 10 log10
2 ,
ˆ jorth
g


MER = ∑j MERj

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
30http:/
/ 65

Performance des approches

NMF

WNMF

αβ-N1 -CWNMF-R

αβ-N2 -CWNMF-R

αβ-N1 -CWNMF

αβ-N2 -CWNMF

MER (in dB)

α = 1, β = 0.5

α = 0.8, β = 0.4

150

150

100

100

50

50

0

15−20

20−25

25−30

30−35

35−40

40−45

45−50

50−55

55−60

60−65

0

15−20

20−25

25−30

30−35

MER (in dB)

α = 0.4, β = 0.8
150

100

100

50

50

0

15−20

20−25

25−30

30−35

35−40

40−45

45−50

50−55

55−60

60−65

0

15−20

20−25

25−30

30−35

MER (in dB)

α = 0.2, β = 1.3
150

100

100

50

20−25

25−30

30−35

35−40

40−45

45−50

50−55

55−60

60−65

0

15−20

20−25

25−30

30−35

α = 0.6, β = 0.6

MER (in dB)

45−50

50−55

55−60

60−65

35−40

40−45

45−50

50−55

55−60

60−65

45−50

50−55

55−60

60−65

45−50

50−55

55−60

60−65

50

15−20

35−40

40−45

α = 1, β = 0.7

150

150

100

100

50

0

40−45

α = 0.6, β = 0.9

150

0

35−40

α = 0.2, β = 1

150

50

15−20

20−25

25−30

30−35

35−40

40−45

SNR (in dB)

45−50

50−55

55−60

60−65

0

15−20

20−25

25−30

30−35

35−40

40−45

SNR (in dB)

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
31http:/
/ 65

Performance des approches
Seconde série de tests

Mêmes sources et observations que précédemment.
Méthodes testées : méthodes (sans résidus) avec et sans contraintes de
bornes
6 contraintes (3 valeurs connues + 3 bornes)
Source 1
Source 2
Source 3

Fe
X
280/320
X

Ca
X
X
180/220

SO4
X
5
X

Zn
40/80
X
X

Mg
X
X
X

Al
X
X
X

Cr
0
20
X

Mesure de performance : MER

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
32http:/
/ 65

Performance des approches

NMF

αβ-N1 -CWNMF

WNMF

αβ-N2 -CWNMF

αβ-BN1 -CWNMF

αβ-N1 B-CWNMF

MER (in dB)

α = 1, β = 0.5
150

150

100

100

50
0

20−25

25−30

30−35

35−40

40−45

45−50

50−55

55−60

60−65

0

15−20

20−25

25−30

MER (in dB)

150

100

100

50

20−25

25−30

30−35

35−40

40−45

45−50

50−55

55−60

60−65

0

15−20

20−25

25−30

MER (in dB)

40−45

45−50

50−55

55−60

60−65

30−35

35−40

40−45

45−50

50−55

55−60

60−65

50−55

55−60

60−65

50−55

55−60

60−65

α = 0.6, β = 0.9

150

150

100

100

50

50

15−20

20−25

25−30

30−35

35−40

40−45

45−50

50−55

55−60

60−65

0

15−20

20−25

25−30

α = 0.6, β = 0.6
MER (in dB)

35−40

50

15−20

α = 0.2, β = 1.3

30−35

35−40

40−45

45−50

α = 1, β = 0.7

150

150

100

100

50
0

30−35

α = 0.2, β = 1

150

0

αβ-N2 B-CWNMF

50

15−20

α = 0.4, β = 0.8

0

αβ-BN2 -CWNMF

α = 0.8, β = 0.4

50

15−20

20−25

25−30

30−35

35−40

40−45

SNR (in dB)

45−50

50−55

55−60

60−65

0

15−20

20−25

25−30

30−35

35−40

40−45

SNR (in dB)

45−50

Conclusion partielle

De nombreuses nouvelles méthodes de NMF informées
Paramétrisation originale des contraintes de forçage
Approche séquentielle pour traiter les autres contraintes
8 approches résultantes avec bornes :
2 expressions des divergences (avec ou sans résidus)
2 procédures de normalisation
Ordre des étapes de projection ou de normalisation

Information apportée fournit :
Une meilleure performance (plus modérée pour les faibles SNR)
robustesse à l’initialization (non présentée ici)

L’approche avec résidus est moins performante
Les 4 autres variantes avec bornes et normalisation fournissent les mêmes
performances sur ces tests

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
34http:/
/ 65

Factorisation matricielle informée par un modèle physique

Jusque là, nous nous sommes concentrés sur la NMF informée avec
connaissance sur F
Approches résultantes considérées comme entre la séparation aveugle et
la régression
Cependant, il est possible d’obtenir des informations sur G
Comment ?

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
35http:/
/ 65

Méthodes informées de factorisation matricielle non-négative....
1
2

Factorisation matricielle
NMF classique

3

NMF avec divergences paramétriques α-β

4

Intégration de connaissances expertes sur F dans la NMF
Normalisation et forçage
Prise en compte de toutes les contraintes sur F
Performance des approches proposées

5

Factorisation matricielle informée par un modèle physique
Motivation
Modèles de propagation
Modélisation de la propagation du polluant
Incorporation d’une structure particulière dans la NMF
Initialisation de la NMF par optimisation quadratique
Performance des approches à base de modèle

6

Données réelles

7

Conclusion

Gilles Delmaire (LISIC, EA 4491, ULCO, Université Lille Nord de France,
GT Calais,
Identification
France, FR-62228 gilles.delmaire@lisic.univ-littoral.fr
13 Novembre 2014
36http:/
/ 65



Documents similaires


these hakim trans
annonce post doc 2018 uceiv
organigrammefd
dossier pedagogique simon la gadouille
cv one page 1 compressed 1
programme s1 dfcg npc


Sur le même sujet..