1 Parcours professionnel

2 Parcours universitaire

3 Activités de recherche

3.1 Thèse : Apprentissage automatique et catégorisation de textes multilingues

3.1.1 Contexte

Ces dernières années, la recherche accorde beaucoup d’importance au traitement des données textuelles et en particulier aux données multilingues. Ceci pour plusieurs raisons : un nombre croissant de collections de textes numérisés mises en réseau et distribuées au plan international, le développement de l’infrastructure de communication et de l’Internet, la progression constante du nombre de personnes connectées au réseau mondial et dont la langue natale n’est pas l’anglais. Ceci a créé de nouveaux besoins pour organiser et traiter ces immenses volumes de données. Les traitements manuels de ces données (systèmes experts ou à base de connaissances) s’avèrent très coûteux en temps et en personnel, ils sont peu flexibles et leur généralisation à d’autres domaines sont quasiment impossibles ; c’est pourquoi on cherche à mettre au point des méthodes automatiques.

L’apprentissage automatique est un processus d’induction général qui permet la construction automatique de classifieurs. Ainsi il est intéressant d’utiliser l’apprentissage automatique pour catégoriser (ou classer) les textes. Ici, il s’agit d’affecter une ou plusieurs catégories à des documents : l’objectif est de trouver une liaison fonctionnelle, que l’on appelle également modèle de prédiction, entre les textes à classer et l’ensemble des catégories. Pour estimer le modèle de prédiction, il faut disposer d’un ensemble de textes préalablement étiquetés, dit ensemble d’apprentissage, à partir duquel on estime les paramètres du modèle de prédiction le plus performant possible, c’est-à-dire qui produit le moins d’erreurs en prédiction. L’objectif de la catégorisation de textes est donc d’associer automatiquement une étiquette à tout nouveau texte à classer.

Notre travail de thèse a pour objectif d’étendre la catégorisation de textes « classique » à la catégorisation de textes multilingues. La nouveauté apportée est la possibilité d’inférer pour un texte rédigé dans une langue quelconque. Cette extension au cas multilingues introduit des contraintes supplémentaires. Il faut adapter le processus habituellement mis en œuvre pour classer les nouveaux textes ; et certaines techniques à base linguistique, utilisées en monolingue, deviennent alors inopérantes.

3.1.2 Résumé de thèse

Notre travail s’intéresse à l’application de méthodes issues de l’apprentissage automatique à la catégorisation de textes multilingues. La thèse comporte deux parties :

La première partie donne une présentation générale de la catégorisation de textes dite « monolingue » selon le schéma suivant :

1. représentation des textes dans un format adapté aux algorithmes d’apprentissage ; on utilise souvent la représentation vectorielle mais d’autres modes de représentation existent aussi telle la représentation probabiliste (modèle de Robertson et Sparck-Jones ou le modèle Okapi), dans laquelle l’information concernant la position de termes dans les phrases peut être conservée, contrairement au modèle vectoriel. La représentation englobe trois éléments : le choix des termes, le choix des poids associés et le choix des méthodes de sélection de termes. Nous apportons deux contributions à ce sujet :
   1. pour le choix de ce qui est un terme (mot, phrase, lemme, etc.), nos travaux [Jalam et al., 2004a, Jalam and Chauchat, 2002] montrent les raisons de l’efficacité des n-grammes. Ces travaux ont montré par exemple que les n-grammes, comme choix de représentation, capturent les connaissances contenues dans les mots. Ainsi, à partir des n-grammes, nous sommes capables d’extraire automatiquement des candidats mots-clés, sans utiliser aucune connaissance linguistique ; ceci est intéressant car l’indépendance de la méthode par rapport à la langue sera nécessaire pour traiter les textes écrits en plusieurs langues.
   2. pour la sélection de termes, nos travaux [Clech et al., 2003] proposent une nouvelle utilisation de la statistique du χ² (multivarié) calculée sur le tableau complet (termes×classes). Cette méthode prend en compte l’interaction soit entre les termes eux-même, soit entre les termes et les classes. Nos premiers résultats sont encourageants et montrent une amélioration des performances par rapport à l’utilisation du χ² (univarié), utilisé pour la sélection des descripteurs par de nombreux auteurs ; ce χ_uni² mesurait l’écart à l’indépendance entre un seul descripteur t_k (présent ou absent) et un seul thème c_i (présent ou absent).
2. choix d’une méthode d’apprentissage pour construire un modèle de prédiction. Il s’agit de proposer une fonction qui associe une ou plusieurs catégories à un document telle que la décision donnée coïncide « le plus possible » avec la vraie fonction qui retourne pour chaque document d_j la valeur c_i de sa classe réelle. Plusieurs critères de choix sont possibles : si les résultats du classifieur sont destinés à des humains (experts ou décideurs), il est souhaitable de privilégier les méthodes “explicatives” comme les arbres de décision ; si, au contraire, le résultat produit est à intégrer dans un processus automatique, on peut alors choisir la méthode qui donne les meilleures performances.
   Dans [Jalam and Teytaud, 2001a] et [Jalam and Teytaud, 2001b] nous avons proposé de nouvelles utilisations des méthodes SVM (Support Vector Machines) et RBF (Radial Basis Functions) en introduisant un nouveau noyau, fondé sur le χ², qui donne de bons résultats et qui confirment les résultats obtenus par les autres auteurs tels que Y. Yang et F. Sebastiani.
3. évaluation du modèle appris afin de s’assurer qu’il est généralisable à d’autres textes.

La deuxième partie est dédiée à la catégorisation de textes multilingues. Dans ce cas, les méthodes utilisant des analyses linguistiques fines deviennent impraticables. Nous avons alors proposé une méthode générale, automatique et largement indépendante des langues.

La phase d’apprentissage s’effectue toujours de manière classique, à partir d’un corpus d’apprentissage étiqueté (c’est à dire, on connait à l’avance les catégories des textes de ce corpus), rédigé dans une langue donnée. Pour classer un texte rédigé dans une langue quelconque, il faut d’abord identifier automatiquement la langue utilisée ; ensuite, deux voies sont possibles :

1. appliquer un modèle propre à chaque langue ; ceci exige de disposer d’ensembles d’apprentissage (préalablement étiquetés manuellement) suffisamment vastes et variés dans chaque langue, ce qui est souvent hors de portée ;
2. utiliser des traducteurs automatiques vers une langue cible (disons l’anglais), puis construire (par apprentissage automatique) un modèle unique de catégorisation. Il y a encore deux façons de construire le modèle, en fonction du moment où l’on place l’étape de traduction ; on apprend :
   1. soit sur des textes écrits dans la langue cible,
   2. soit sur les traductions, vers la langue cible, de textes écrits dans différentes langues.

Nous avons proposé trois schémas et nous en avons expérimentés deux. Les résultats auxquels nous sommes parvenus sont publiés dans [Jalam et al., 2004b].

3.1.3 Résumé de mes principales contributions

• Proposition d’un nouveau cadre pour la catégorisation de textes multilingues, conférence JADT’2004 [Jalam et al., 2004b] ; travail sélectionné parmi les meilleurs articles proposés et bénéficiant d’une bourse pour participer au congrès.
• Proposition de deux schémas pour la catégorisation de textes multilingues dans lesquels la traduction automatique intervient dans les phases d’apprentissage et de classement ; contribution au Workshop « Fouille de textes », animé par Yves Kodratoff et Yannick Toussaint à EGC’2004 [Jalam and Chauchat, 2004].
• Proposition d’une nouvelle méthode de sélection de termes multivariée pour l’apprentissage basées sur la statistique χ², publiée dans JDS’2003 [Clech et al., 2003] ;
• Exploration des raisons de l’efficacité de la représentation des textes par le codage en n-grammes ; ce travail a été présenté aux JADT’2002 [Jalam and Chauchat, 2002] ;
• Nouvelle utilisation des SVM et des RBF avec le χ² comme noyau, publiée dans la conférence IJCNN’2001 [Jalam and Teytaud, 2001b] ;
• Nouvelle utilisation des n-grammes avec le χ² comme noyau pour l’identification automatique de la langue et la catégorisation de textes, publiée dans la conférences EGC’2001 et sélectionnée pour la revue nationale “Extraction de Connaissance et Apprentissage” [Jalam and Teytaud, 2001a] ;
• Adaptation du corpus CLEF (Cross-Language Evaluation Forum) pour disposer d’un échantillon de textes multilingues étiquetés en vue de l’apprentissage ; ce corpus adapté est, à notre connaissance, le premier jeu de données dans ce domaine (article en cours de rédaction).

Références

3.2 Séminaires et groupes du travail

• 22/04/2004, Apprentissage Automatique et Catégorisation de textes, IRISA ; Rennes.
• 03/06/2002, Apprentissage Automatique et Catégorisation de textes Multilingues, Journées des doctorants, Laboratoire ERIC ; Lyon.
• 12/02/2002, Pourquoi les n-grammes permettent de classer des textes ?, Groupe du Travail, Laboratoire ERIC ; Lyon
• 08/01/2001, Identification de la langue et catégorisation de textes basées sur les N-grammes, Séminaires de Laboratoire ERIC ; Lyon.
• 22/01/2001, Text-Mining, Techniques d’apprentissage et catégorisation de textes, Journée des doctorant, Laboratoire ERIC ; Lyon.
• 11/06/1999, La Recherche d’informations Multilingues, Groupe du Travail, Laboratoire ERIC ; Lyon.

3.3 Animation scientifique

• Membre du comité d’organisation de JDS’2003 et de PKDD’2000.
• Membre du groupe de travail « Fouille de données complexes ».
• Membre de la Société Française de Statistique.
• Membre du groupe de travail « Analyse de données », UMR IRMAR.

4 Activités d’enseignement

Mes activités d’enseignement en France, à l’Université Lumière Lyon 2, ont débuté en 1998. J’ai enseigné dans les facultés d’Histoire, des Langues, des Arts du Spectacle, de Sciences Économiques et de Gestion ainsi qu’à l’institut de la Communication.