5 juillet 2007
Technolangue.net
Les packages d'évaluation des projets ARCADE II, CESART, CESTA, ESTER, EQueR, EvaSy et MEDIA sont désormais disponibles dans le catalogue de ressources linguistiques d’ ELRA. Produits dans le cadre du projet EVALDA, volet du programme Technolangue consacré à l'évaluation des technologies de la langue, ces packages d’évaluation comprennent l’ensemble des données utilisées et/ou produites lors des campagnes d’évaluation : ressources, protocoles et métriques, outils de notation, résultats des campagnes officielle, etc. La distribution de ces packages devrait permettre à quiconque d’évaluer son propre système et de comparer ses résultats à ceux obtenus pendant les campagnes d'évaluation.
Les technologies qui ont été évaluées au cours de ce programme sont les suivantes :
Le projet EvaSy (« Evaluation des systèmes de Synthèse de parole ») a permis de réaliser une campagne d'évaluation des systèmes de synthèse de la parole à partir du texte en français et plus particulièrement l’évaluation de la conversion Graphème-Phonème, l’évaluation de la prosodie et l’évaluation globale de la qualité des systèmes de synthèse. Pour des informations sur le package d’évaluation EvaSy, voir: ELRA-E0023
Le projet ESTER (« Evaluation des systèmes de transcription enrichie d’émissions radiophoniques ») a permis de réaliser une campagne d'évaluation des systèmes de reconnaissance de la parole produisant des transcriptions enrichies d’émissions radiophoniques pour le français. Il était axé sur la transcription orthographique, la segmentation et l’extraction d’information (détection d’entités nommées). Pour des informations sur le package d’évaluation ESTER, voir : ELRA-E0021 .Pour un usage de recherche ou commercial de cet ensemble, veuillez vous référer à ELRA-S0241 Corpus ESTER
Le projet MEDIA (« Méthodologie d'Evaluation automatique de la compréhension hors et en contexte du DIAlogue ») a permis de réaliser une campagne d'évaluation de la compréhension des systèmes de dialogue pour le français. Il était axé sur l’évaluation du dialogue hors contexte et l’évaluation du dialogue en contexte. Pour des informations sur le package d’évaluation MEDIA, voir : ELRA-E0024
Le projet ARCADE II (« Action de Recherche Concertée sur l’Alignement de Documents et son Evaluation ») a permis de réaliser une campagne d'évaluation dans le domaine de l'alignement multilingue, axée sur l’alignement phrastique et la traduction d’entités nommées. Pour des informations sur le package d’évaluation ARCADE II, voir : ELRA-E0018
Le projet CESTA (« Campagne d'Evaluation de Systèmes de Traduction Automatique ») était axé sur l’évaluation de systèmes de traduction automatique sur un domaine général et un domaine de spécialité (évaluation après enrichissement terminologique). Pour des informations sur le package d’évaluation CESTA, voir : ELRA-E0020
Le projet CESART (« Campagne d'Evaluation de Systèmes d'Acquisition de Ressources Terminologiques ») a permis de réaliser une campagne d'évaluation de systèmes d'acquisition de ressources terminologiques. Il était axé sur l’extraction de candidats-termes et l’extraction de relations entre termes dans des données textuelles. Pour des informations sur le package d’évaluation CESART, voir : ELRA-E0019
Le projet EQueR (« Evaluation en Question-Réponse ») a permis de réaliser une campagne d'évaluation des systèmes de question-réponse pour le français, axée sur une tâche générique et une tâche spécialisée (domaine médical). Pour des informations sur le package d’évaluation EQueR, voir : ELRA-E0022
Le package d’évaluation EASy (« Evaluation des Analyseurs Syntaxiques du français ») a permis de réaliser une campagne d’évaluation des analyseurs syntaxiques. Il était axé sur l’annotation en constituants et l’annotation en relations de dépendances. (Package à paraître)