[Journal de thèse #1] Comment détecter les personnages dans un texte

J’ai été vraiment ravie de l’accueil que tu as réservé à mon précédent billet qui présentait mon sujet de thèse, et j’ai donc très envie de t’en parler un peu plus régulièrement et en entrant un poil plus dans les détails. Voici donc une tentative de rendez-vous récurrent (je ne me fixe pas de rythme, probablement que mes avancées ne seront pas toujours régulières), en espérant que ça continue de t’intéresser !

En ce moment, je travaille sur la toute première étape de ma construction de réseaux de personnages (je t’invite à retourner sur mon article de présentation si tu as oublié ce que c’était), à savoir la récupération automatique des éléments de mon réseau. Pour te donner une idée de la vue d’ensemble, le réseau se compose de personnages et d’interactions entre ces personnages. Les interactions peuvent être de plusieurs types (et on en reparlera, au final ce sera à moi de faire un choix de définition en fonction de ce que j’arrive à récupérer), mais il me faut d’abord me concentrer sur les personnages et comment réussir à les extraire d’un texte.

On peut globalement réunir trois manières de nommer un personnage :

• Par son nom (Elizabeth Bennet, Ms. Bennet, Miss Eliza, Eliza, etc.)
• Par un pronom (il, elle, lui, nous, etc.)
• Par une périphrase (la jeune fille, la fille de M. Bennet, le détective, etc.)

Si on décide de faire ce travail à la main, on pourrait décider de se concentrer sur toutes les mentions d’un personnage, puisque le contexte devrait nous permettre de comprendre de qui on parle à tout moment. Mais ça prend un temps fou, et puisque le réseau est une agrégation des interactions du roman (ou du film, jeu etc.), on n’a souvent pas besoin d’aller trop dans le détail pour déjà se faire une idée générale des groupes de personnages.

Dans mon cas, j’aimerais automatiser cette récupération d’informations, pour pouvoir générer des réseaux pour 10, 100 ou 1000 romans (ce qui prendrait des années à la main, tu t’en doutes). Et lorsqu’on doit faire comprendre à un ordinateur quel personnage est cité à quel moment, de nouveaux problèmes se posent et ces trois types d’appellation possibles amènent des défis supplémentaires. Dans un premier temps, je vais donc me concentrer sur le fait de récupérer uniquement les mentions des noms des personnages, avec l’espoir de pouvoir étoffer ça avec les pronoms par la suite (qui sont faciles à récupérer, mais très difficiles à attribuer à la bonne personne).

La magie des NER

Il existe des algorithmes qui détectent automatiquement ce qu’on appelle les « entités nommées » d’un texte. Les entités nommées, en très gros, c’est des noms propres qu’on peut ranger dans différentes catégories (personnes, lieux, organisations, etc.). Le domaine de l’informatique qui s’attaque à retrouver ces entités nommées s’appelle le NER (named entities recognition). Je travaille en Python (c’est un langage de programmation, pas le tissu de mon pantalon n’est-ce pas), et il existe plusieurs solutions de NER que j’ai entrepris de tester. Parce que dans un monde parfait, ça pourrait détecter toutes les occurrences de mes personnages (du moins quand ils sont appelés par leur nom) et on pourrait passer à la prochaine étape.

Seulement voilà. Ces algorithmes sont entraînés sur des données qui ne sont pas spécialement des textes de fiction (on est surtout sur des journaux, des retranscriptions téléphoniques, des articles de Wikipedia, etc.) et qui n’ont pas tout à fait les mêmes conventions que les documents qui m’intéressent. Dans la fiction, on trouve des noms fantaisistes, des lieux parfois inventés, des surnoms qui sont tirés de noms communs, et ce genre de cas de figure n’est pas fréquent dans les données qui ont servi de base à ces modèles déjà existants. Il me faut donc explorer, faire des tests, et envisager d’améliorer moi-même par-ci par-là en fonction de mes besoins.

Après un petit tour d’horizon, je me suis concentrée sur deux modèles : SpaCy et Flair. Je n’entre pas dans les détails techniques, ne t’inquiète pas (fun fact quand même : Flair a été développé par le centre de recherche de Zalando. Je ne savais même pas qu’ils faisaient ce genre de choses). SpaCy est bien connu dans le milieu, mais j’ai vite découvert qu’il avait de grosses limitations dans la fiction, notamment parce qu’il n’apprend pas du tout le contexte de la phrase. D’ailleurs, si tu as envie de jouer avec, il y a une version en ligne disponible ici ! Pour te montrer un exemple, voilà comment SpaCy s’en sort avec la page wikipedia de Marina Rollman :

On a les lieux en orange, les personnes en vert, les organisations en bleu et le reste en mauve. Le résultat est plutôt satisfaisant donc, par contre si je lui file un extrait de l’Assassin Royal, c’est une autre limonade.

Quasiment tous les personnages sont appelés avec des noms communs (Patience, Fouinot, Renarde), et ça perturbe beaucoup le modèle. Soit il leur donne la mauvaise catégorie, soit il ne les trouve même pas. Bon, sache quand même que les résultats sont meilleurs en anglais (beaucoup plus de données d’entraînement), mais ces problèmes sont récurrents malgré tout.

D’après mes premières analyses, Flair s’en sort mieux, et c’est probablement parce qu’il prend en compte la structure de la phrase et son contexte (à priori, le sujet d’un verbe d’action sera plus facilement reconnu comme un personnage, même si son nom est surprenant). Je n’ai pas le même interface tout joli que pour SpaCy alors c’est plus embêtant pour te montrer les choses, mais sur le même extrait de l’Assassin Royal, il trouve « Patience », « Fouinot » et « Renarde » (et se trompe juste en rangeant Patience dans la catégorie « autre »), ce qui est déjà beaucoup plus prometteur.

Bref, au moment où je t’écris tout ça, je suis en train d’élaborer un moyen de mesurer l’efficacité de ces modèles en fonction de mes besoins et de mes attentes. Ca me permettra aussi de constater la progression quand j’essaierai de mettre les mains dans le modèle et de changer certains paramètres. Ce n’est pas très glamour et je ne veux pas t’assommer avec les détails alors je m’arrête là pour cette fois, j’espère pouvoir t’en montrer plus la prochaine fois !