Calligramme's wiki

da

Bruno Guillaume — Wed, 22 May 2013 09:41:23 +0200

Dependency Annotator

Installation ou mise à jour de version:

Sur la page http://yquem.inria.fr/~ribeyre/deploy/DependenciesAnnotator/, il faut télécharger le fichier : DependenciesAnnotator-windows.DATE.zip
Ouvrir le fichier pour le décompresser
dans le répertoire créé, une application “Dependency Annotator” est disponible

Mise en route

Sur la page http://yquem.inria.fr/~ribeyre/deploy/DependenciesAnnotator/, il faut télécharger le fichier : DGA_fr.xml
Dans DA, File > Load annotation scheme, sélectionner le fichier DGA_fr.xml

sequoia

Bruno Guillaume — Wed, 22 May 2013 09:08:10 +0200

The French Sequoia Corpus

The French Sequoia Corpus is developed in the Alpage team by Marie Candito and Djamé Seddah. For more information see the Sequoia page which describes the corpus and contains link to the original resource.

Data

The most recent version is 5.1.

Several formats of the data are available in the table below.

	Original np_conll file	txt file	sentence list	separate files (svg+conll)
sequoia	sequoia.np_conll	sequoia.txt
annodis.er	annodis.er.np_conll	annodis.er.txt	annodis.er.html	annodis.er
emea-fr-dev	emea-fr-dev.np_conll	emea-fr-dev.txt	emea-fr-dev.html	emea-fr-dev
emea-fr-test	emea-fr-test.np_conll	emea-fr-test.txt	emea-fr-test.html	emea-fr-test
Europar.550	Europar.550.np_conll	Europar.550.txt	Europar.550.html	Europar.550
frwiki_50.1000	frwiki_50.1000.np_conll	frwiki_50.1000.txt	frwiki_50.1000.html	frwiki_50.1000

References

Description of the Sequoia Corpus

Marie Candito, Djamé Seddah, 2012: ”Le corpus Sequoia : annotation syntaxique et exploitation pour l’adaptation d’analyseur par pont lexical”, Actes de TALN'2012, Grenoble, France.

Annotation guide for dependency structures

Marie Candito, Benoît Crabbé, Mathieu Falco, 2011: Dépendances syntaxiques de surface pour le français

Annotation guides for the parse-tree stuctures

Anne Abeillé, François Toussenel, Martine Chéradame, 2004: Corpus le Monde — Annotations en constituants — Guide pour les correcteurs
Anne Abeillé , Lionel Clément, 2003: Corpus le Monde — Annotation morpho-syntaxique — Les mots simples - Les mots composés
Anne Abeillé, 2004: Corpus le Monde — Annotation fonctionnelle — Guide des annotateurs

Mini reference

The mini reference was extracted from the whole sequoia corpus:

taking a subset of 50 sentences in each sub-corpus
in each subset sentences lengths are representative of sentences lengths in the whole corpus

	All sentences in a single np_conll file	txt file	sentence list	separate files (svg + conll)
sequoia	sequoia.np_conll	mr50_sequoia.txt
annodis.er	mr50_annodis.er.np_conll	mr50_annodis.er.txt	mr50_annodis.er.html	mr50_annodis.er
emea-fr-dev	mr50_emea-fr-dev.np_conll	mr50_emea-fr-dev.txt	mr50_emea-fr-dev.html	mr50_emea-fr-dev
emea-fr-test	mr50_emea-fr-test.np_conll	mr50_emea-fr-test.txt	mr50_emea-fr-test.html	mr50_emea-fr-test
Europar.550	mr50_Europar.550.np_conll	mr50_Europar.550.txt	mr50_Europar.550.html	mr50_Europar.550
frwiki_50.1000	mr50_frwiki_50.1000.np_conll	mr50_frwiki_50.1000.txt	mr50_frwiki_50.1000.html	mr50_frwiki_50.1000

Experiments

Conversion to Deep Syntax
Conversion to DMRS semantic representation
Error mining (direct link to error reporting page)

Old Data

Grew read one input graph in one file. Sequoia data are split in order to have one file per sentence. The set of files used as Grew input are available:

ci:dev

Bruno Guillaume — Mon, 15 Apr 2013 15:43:35 +0200

Start a job for a remote host

wget --auth-no-challenge --http-user="Bruno.Guillaume@inria.fr" --http-password=xxx "http://ci.inria.fr/semagramme/job/fct_test/build?token=fct_test" --no-check-certificate -O - > /dev/null

Migration vers ci.inria.fr

sur un nœud ubuntu, il faut installer:

ocaml-native-compilers (optionnel)
camlp4-extra
ocaml-findlib
libcamomile-ocaml-dev
libpcre-ocaml-dev
menhir
liblablgtk2-ocaml-dev
libxml-light-ocaml-dev
libcairo-ocaml-dev
librsvg2-bin

Opam installation sur un nouveau nœud

log as root on node xxx

ssh root@semagramme-xxx.ci

update aptitude

aptitude update
aptitude upgrade

avoid Warning about Locale

aptitude install language-pack-fr

REBOOT

install OPAM

wget "http://www.ocamlpro.com/pub/opam-full-1.0.0.tar.gz"
tar zxvf opam-full-1.0.0.tar.gz
cd opam-full-1.0.0
./configure
make
make install

initialize OPAM

opam init
echo 'eval `opam config env`' >> .profile
source .profile
opam switch 4.00.1
eval `opam config env`

install this librairy BEFORE lablgtk installation !!!

aptitude install pkg-config
aptitude install libwebkitgtk-dev
aptitude install librsvg2-dev
aptitude install libglade2-dev

Install lablgtk2

opam install lablgtk

Misc

aptitude install graphviz

add talc repository:

opam remote add talc talc2.loria.fr/semagramme/opam

Install dep2pict

opam install dep2pict

todo

Alexandre Papin — Thu, 11 Apr 2013 14:47:51 +0200

Catégories de features à implémenter :

* Site en général

Gestion login + Gestion des utilisateurs dans la BDD (Fait)
Captcha (Non Prioritaire)
Récupération du MDP (Non Prioritaire)
Réaliser une petite “documentation” accessible sans connexion pour présenter notre jeu et donner envie aux nouveaux joueurs potentiels (+ Module de partie de test)
Gestion du profil du joueur (Squelette implémenté (Page “Mon compte”)
- Le joueur aura un “niveau”, fonction du nombre de phrases annotées et du score moyen
- Système léger de trophées/succès “à la jeudemots”
- %age d'annotations “correctes”

* Formation du joueur

* Réflexion sur la formation : quelles phrases utiliser? (phrases dites de référence), quels guides?

“Autorisation” de poursuivre si il obtient plus de 50% de bonnes annotations sur un parcours choisi.
Système de correction du joueur lorsqu'il échoue afin de le faire progresser
Implémentation

*Score

Choisir l'algorithme du score - Etat de l'art des systèmes de vote
Calcul du score lorsqu'une nouvelle phrase est annotée (–Ajout de points uniquement)
Affichage
- En cours de partie : Score général ET à la fin de la partie (score 'temporaire' mais nécessaire pour feedback)
- Statique / Sur les profils / Leaderboards

* Système d'évaluation de la difficulté de la phrase (fait dynamiquement par le jeu? pré-calculé?)

Facteur principal : longueur
Déjà fait quelque part ?
Maximum de liens intersectés avec une verticale

*Architecture

Création de l'objet partie dans la BDD - étape initiale (Fait)
Echanges entre le jeu et le serveur - Requêtes AJAX
- Formaliser le type et la nature de requêtes
- Prototypage
- Implémentation totale
Modélisation BDD complète (Fait)
Scripts de modification de la BDD lorsqu'une information est reçue par le jeu (nouvelle annotation à la fin de la partie, par ex.)
- Cohérence en cas de fermeture en cours de jeu

*Interface du jeu / Ergonomie

Choix de l'affichage des relations crées (voir SVG)
- Pouvoir supprimer n'importe quelle relation crée - à défaut, pouvoir supprimer la dernière relation crée.
Choix de l'affichage du focus - de la façon de le choisir
Retour utilisateur de fin de partie (score, etc..)
Pouvoir choisir de finir l'annotation d'une phrase
Un seul clic pour saisir un objet
Design ?
- Design(s) qui varient

*Jeu

Branch-out pour le deuxième type de partie : correction de phrases pré-annotées plutôt qu'annotation from scratch.
Mini-jeux intermédiaires entre phrase pour augmenter la variété

*Autres

xxxx

Choix de designs:

Une partie = Une phrase

====== Objectifs immédiats  ======

* Création et affichage de nouvelles parties via Symfony - Squelette pour une communication entre le jeu et le PHP/la BDD

* Communication entre le jeu et le serveur. Requêtes AJAX. Dont:

“debutDePartie.php?id=42” ⇒ Permettant au JS de connaître la phrase à afficher
“finDePartie.php?id=42” ⇒ JS envoie les relations crées - PHP renvoie le score du joueur sur cette phrase

* Incrémentation sur le jeu:

Détection de la fin - choix du joueur ou plus de possibilités
Ergonomie
1. Méthode de choix du focus : comment permettre à l'utilisateur de le sélectionner? comment l'afficher clairement?
2. Avoir un retour sur la création des relations : flèches? réutilisation SVG?
3. Autres éléments d'interfaces: retour sur le score, bouton de fin de partie…
Taille de l'écran à revoir?

sequoia:errors_5.0

Bruno Guillaume — Thu, 11 Apr 2013 12:57:43 +0200

Repérage d'erreurs Séquoia 5

Divers

MR indique que l'erreur est corrigé dans les fichiers GForge/semagramme/sequoia/miniref/.

Europar.550_00008: “Pourquoi nous occupons -nous de ce problème ?” → C'est le deuxième ”nous” qui est sujet
MR Europar.550_00032: “Je me suis finalement abstenue en ce qui concerne […]” → ”suis” est un aux.tps, pas un aux.pass

MR annodis.er_00037: “Quant au sous-préfet […] ” → Quant : P ⇒ Quant : P+D
MR annodis.er_00063: ”[…] auront l'occasion de s'entraîner […]” → auront-[de_obj]→ de ⇒ occasion -[dep]→ de
annodis.er_00218: relation obj:obj/obj
annodis.er_00252: ”[…] se renseigner auprès du comité” → auprès_du : P ⇒ auprès_du : P+D
MR annodis.er_00266: ”[…] avions bon espoir d'obtenir […]” → avions -[de_obj]→ d' ⇒ espoir -[dep]→ d'
annodis.er_00327: ”[…] emmenait les gamins se réchauffer […]” → emmenait -[mod]→ réchauffer ⇒ emmenait -[p_obj.o]→ réchauffer
MR annodis.er_00336: “Pour éviter […]” constatait Martial Bourquin.” → constatait -[mod]→ Pour ⇒ constatait -[obj]→ Pour

MR frwiki_50.1000_00599: ”[…] refus des policiers de perquisitionner […]” → policiers -[dep]→ de ⇒ refus -[dep]→ de

Application des patterns de détections d'erreurs

règle no_suj

MR annodis.er_00514: “Etaient conviés à la petite cérémonie, égayée de fleurs et biscuits, […]” → Etaient est DEP ⇒ AUX_TPS

prep_out

annodis.er_00138: à -[DEP]→ avec ?
annodis.er_00197: “sans X, sans Y et sans Z” coordination mal annotée
annodis.er_00202: “avec pour conséquence” → avec -[DEP]→ pour ??
annodis.er_00219: “plus de trente personnes” → plus -[DEP]→ de ??
annodis.er_00397
annodis.er_00448
annodis.er_00457
annodis.er_00508
annodis.er_00522

prep_no_obj

annodis.er_00041
[corrigé 5.0 → 5.1] annodis.er_00103: “en se saisissant du volant” → gérondif mal annoté
annodis.er_00158
annodis.er_00219
annodis.er_00431
annodis.er_00448
annodis.er_00504
annodis.er_00524

[corrigé 5.0 → 5.1] Europar.550_00029: ”[…] qui sont issus d'élections démocratiques” → ”issus” devrait être un verbe mais l'infinitif ”issoir” n'existe plus, c'est donc un adj
Europar.550_00188: “un avenir fait de quelques privilégiés” → “privilégiés” est un ADJ utilisé comme un N
Europar.550_00280: “Je le répète, nous n'avons pas à parler d'aidées de grandeur” → phrase incorrecte “aidées” ⇒ “idéees”
[corrigé 5.0 → 5.1] emea-fr-test_00165 → issues (voir plus haut)
[corrigé 5.0 → 5.1] frwiki_50.1000_00068 → issues (voir plus haut)
frwiki_50.1000_00815 → “passe de la seconde à la quatrième place” ellipse du nom “place”