Entraînement d'un classifieur de textes avec SpaCy

 %pip install -q "spacy>3.0.0" pandas sklearn

 !python -m spacy download en_core_web_md

721 rows × 4 columns

Création du dataset d'entraînement

Tout d'abord écrivons une fonction permettant de transformer le dataset dans le format binaire pour spacy, que l'on va stocker temporairement en local.

Séparons jeux d'entraînement et de validation.

Creation et configuration du composant de classification de textes

Le workflow recommandé avec SpaCy utilise des fichiers de configuration. Ils permettent de configurer chaque composant de la pipeline, de choisir quels composants entraîner etc.

Nous utiliserons ce fichier de configuration, qui utilise le classifieur de textes par défaut de SpaCy. La configuration peut être générée en suivant ce guide : : https://spacy.io/usage/training#quickstart et nous l'avons customisé pour qu'il utilise ce model : https://spacy.io/api/architectures#TextCatBOW.

Il y a deux parties qu'il est important de noter dans ce fichier :

[nlp]
lang = "en"
pipeline = ["textcat"]
batch_size = 1000
disabled = []
before_creation = null
after_creation = null
after_pipeline_creation = null
tokenizer = {"@tokenizers":"spacy.Tokenizer.v1"}

[components.textcat]
factory = "textcat"
scorer = {"@scorers":"spacy.textcat_scorer.v1"}
threshold = 0.5

[components.textcat.model]
@architectures = "spacy.TextCatBOW.v2"
exclusive_classes = true
ngram_size = 1
no_output_layer = false
nO = null

Entraînement du composant de classification de textes

Contrairement à ce qui peut être trouvé dans la plupart des ressources en ligne ou dans la documentation de SpaCy où l'entraînement est démarré depuis la CLI, nous allons essayer de lancer l'entraînement du composant directement depuis un script python. Cela a l'avantage de pouvoir faire cette étape de manière programmatique, par exemple depuis une pipeline de donnée (avec airflow, dagster, ou équivalent).

Toutefois, nous utiliserons la fonction train pré-définie dans spacy.cli.train de telle sorte à bénéficier des fonctionnalités de logging, adaptations et autres vérifications qui sont utilisée dans la CLI. Notons que l'on peut tout à fait, et très facilement partir directement du module spacy.training et de gérer le logging / interaction avec le système de fichier par nous même, ce qui serait recommandé dans du code de production.

Nous avons maintenant un modèle de classification entraîné ! Spacy stocke le modèle dans des dossiers, et en sauve deux versions, le dernier état du modèle pour permettre de reprendre depuis ce checkpoint s'il on veut affiner le modèle, et le meilleur état du modèle observé pendant l'entraînement. Dans le fichier meta.json dans le dossier du modèle, on peut voir les scores internes qui ont été calculés pendant la validation, et l'on peut voir ici des scores de ~.8 en Macro F score et un AUC à .93.

Le modèle ainsi entraîné et stocké peut ensuite être chargé via spacy de cette manière :

On voit que le document une fois traité par la nouvelle pipeline dispose d'un attribut .cats et que dans ce cas la catégorie datasets est prédite avec ~85% de confiance.

Cependant, le reste de la pipeline est vide : pas d'information syntaxique, de dépendance ou d'entités.

Ces informations sont en revanche disponible et dans la pipeline pré-entraînée que nous avions utilisée au début (Mais évidemment, pas les catégories).

La question est donc, comment combiner les deux pipelines nativement sans avoir à charger deux modèles séparément et écrire beaucoup de code pour recoller les morceaux ?

Intégration du nouveaux composant dans la pipeline existante

Il y a en fait plusieurs manières de le faire :

1. Créer un pipe et charger le modèle à partir du système de fichiers, mais cela aurait demandé d'utiliser un processus d'entraînement différent de celui que nous avons utilisé ici.

   pipe = nlp.add_pipe("textcat")
   pipe.from_disk("path/to/model/files") # Note, requires a different folder structure that what we've generated

2. Charger la pipeline, sauver le modèle du composant dans un fichier ou sous forme binaire, et le charger à nouveau dans un second temps depuis le disque / le binaire dans un nouveau pipe ajouté à la pipeline pré-entraînée.

   trained_nlp.get_pipe("textcat").to_disk("tmp")
   nlp.add_pipe("textcat").from_disk("tmp")
   # OR
   nlp.add_pipe("textcat").from_bytes(
    trained_nlp.get_pipe("textcat").to_bytes()
   )

3. Créer le pipe depuis une pipeline source.

   nlp_merged = spacy.load("en_core_web_md")
   nlp_merged.add_pipe("textcat", source=trained_nlp)
   doc_from_merged = nlp_merged(text)
   
   print("entities", doc_from_merged.ents)
   print("sentences", list(doc_from_merged.sents))
   print("classification", doc_from_merged.cats)

   entities (New Zealand,)
   sentences [Hello I'm looking for data about birds in New Zealand., 
   , The dataset would contain the birds species, colors, estimated population etc.]
   classification {'datasets': 0.8466417193412781, 'dataengineering': 0.07126601785421371, 'LanguageTechnology': 0.08209223300218582}

À partir de là, il est possible de sauver la pipeline sur le disque et de la réutiliser à volonté, ou encore de l'enrichir avec d'autres composants personnalisés (pourquoi pas un second classifier, ou encore un modèle de NER complémentaire de celui présent dans la pipeline) avec l'ensemble des fonctionnalités.

Conclusion

Dans ce tutoriel, nous avons vu comment entraîner et intégrer un composant de classification de textes à une pipeline pré-existante, d'une manière complètement programmatique. La grande valeur ajoutée de cette procédure est qu'elle peut être complètement automatisée et permettre d'entraîner / assembler un grand nombre de composants de manière modulaire et automatique (par exemple en CI/CD).

J'espère que le post vous aura été utile et n'hésitez pas à me contacter si vous voulez plus de détails !