cours evaluation 2015 .pdf



Nom original: cours_evaluation_2015.pdfTitre: Évaluation d'une annotation automatique avec F-mesureAuteur: phamnhung

Ce document au format PDF 1.5 a été généré par Microsoft® Office PowerPoint® 2007, et a été envoyé sur fichier-pdf.fr le 02/11/2015 à 16:11, depuis l'adresse IP 194.254.x.x. La présente page de téléchargement du fichier a été vue 500 fois.
Taille du document: 294 Ko (17 pages).
Confidentialité: fichier public


Aperçu du document


Évaluation d'une annotation
automatique avec F-mesure
PHAM Thi Nhung
LDI – Université Paris 13
vn.phamnhung@gmail.com

Villetaneuse, novembre 2015

Exemple
Faire un programme pour reconnaître
automatiquement les pronoms : je, tu, il, elle, ils,
elles, le, la, les.
A distinguer les pronoms aux :
- expressions météorologiques : il neige, il pleut...
- formes impersonnelles : il est possible que...
- articles définis : j'habite dans le plus beau village
de France

Résultat 1
L'étudiant A a fait un programme qui est capable
de reconnaître toutes les formes (je, tu, il/elle,
ils/elles, le, la, les)
… mais le travail contient plusieurs erreurs
(expressions impersonnelles, météorologiques
et articles définis) qu'on appelle « les bruits »

Résultat 2
L'étudiant B a fait un programme qui reconnaît
seulement des formes sûres de pronoms
personnels :« je », « tu », « elle », « ils »,
« elles »
Les pronoms ambigües comme « le », « la »,
« les », « il » ne sont pas du tout reconnus
-> Il n'y a pas de « bruit » mais il y a beaucoup
de « silences » car plusieurs étiquettes
manquent

Résultat 3
L'étudiant C a fait un programme qui reconnaît
toutes les formes sûres de pronoms personnels
(je, tu, elle, ils/elles) + certains pronoms sauf
ceux qui se trouvent dans un stoplist :
- il neige, il pleut, il fait beau …
- il est possible, il est interdit....
Le programme prend uniquement les « le »,
« la », « les » se trouvant devant les verbes.
-> moins de « bruits » et moins de « silences »

Résultat 4
L'étudiant D a fait un programme qui reconnaît
toutes les bonnes formes de pronoms, il n’y a
pas de mauvaise étiquettes, ni les étiquettes
manquantes.
-> pas de « silence » ni de « bruit », toutes les
étiquettes sont bonnes.

Exemple
Le travail exige que le NB de bonnes étiquettes à reconnaitre soit
100 étiquettes
L’étudiant A : 200 étiquettes reconnues (100 bonnes ; 100
mauvaises ; 0 manquante)
L’étudiant B : 50 étiquettes reconnues (50 bonnes ; 0 mauvaise ;
50 manquantes)

L’étudiant C : 90 étiquettes reconnues (70 bonnes ; mauvaise (9070) ; manquantes (100-70))
L’étudiant D : 100 étiquettes reconnues (100 bonnes ; 0 mauvaise ;
0 manquante)

Question

Quel est le meilleur résultat ? -> le résultat de
l’étudiant D
Quel est le pire : A, B ou C ?
Classez les résultats en ordre !

La représentation des résultats


Étudiant A



Étudiant C





Étudiant B

Étudiant D
Bonne étiquette
Mauvaise étiquette
Étiquette manquante
Étiquette reconnue
Étiquette à reconnaître

Les paramètres pour
calculer la performance

- Taux de précision (P)
- Taux de rappel (R)
- F-mesure (F1)

La Précision et le Rappel
Taux de précision (P) =

Taux de rappel (R) =

Nb de bonnes étiquettes
Nb d'étiquettes reconnues
Nb de bonnes étiquettes
Nb d'étiquettes à reconnaître

F-mesure

Calculer le F-mesure (F1) avec le formule

F1 =

2(P*R)
(P+R)

Calculer le F1 dans l'exemple
NB

Etudiant A

Etudiant B

Etudiant C

Etudiant D

étiquettes
Reconnues

200

50

90

100

Bonnes

100

50

70

100

Mauvaises

100

0

20

0

50

30

0

Manquantes 0

La précision
P=

Nb de bonnes étiquettes
Nb d'étiquettes reconnues

A = 100/200 = 50%
B = 50/50 = 100%

C = 70/90 = 77%
D = 100/100 = 100%

Le rappel
R=

Nb de bonnes étiquettes
Nb d'étiquettes à reconnaître

A = 100/100 = 100%
B = 50/100 = 50%

C = 70/100 = 70%
D = 100/100 = 100%

Le Fmesure
F1 =

2(P*R)
(P+R)

A : F1 = 2(0.5*1)/(0.5+1) = 2*0.5/1.5 = 1/1.5 = 0.667 = 66,7%
B : F1 = 2(1*0.5)/(1+0.5) = 2*0.5/1.5 = 1/1.5 = 0.667 = 66,7%
C : F1 = 2(0.77*0.7)/(0.77+0.7) = 2*0.54/1.47 = 0.733 = 73.3%
D : F1 = 2(1*1)/(1+1) = 2/2 = 1 = 100%


Aperçu du document cours_evaluation_2015.pdf - page 1/17
 
cours_evaluation_2015.pdf - page 3/17
cours_evaluation_2015.pdf - page 4/17
cours_evaluation_2015.pdf - page 5/17
cours_evaluation_2015.pdf - page 6/17
 




Télécharger le fichier (PDF)


cours_evaluation_2015.pdf (PDF, 294 Ko)

Télécharger
Formats alternatifs: ZIP



Documents similaires


s1 tableau reponses 1
carte de visite avec writer
ex5 classes abstraites doc
communique de presse cadrat definitif
o1um9q0
texte inte gral diaprecor version finale 1

Sur le même sujet..