Ingestion des données — Comprendre le RAG

De quoi part-on ? Vos documents, tels qu'ils sont

Prenons un cas concret que nous suivrons tout au long du guide : une PME de 80 personnes veut un assistant capable de répondre aux questions des employés — congés, télétravail, notes de frais. Ses connaissances existent déjà, mais elles sont éparpillées :

un PDF de 40 pages : le règlement intérieur ;
des pages Word : les procédures RH ;
un wiki interne (pages web) : la documentation des outils ;
des tableurs : barèmes de remboursement ;
parfois même des documents scannés, c'est-à-dire de simples images de texte.

L'ingestion, c'est l'étape qui va chercher tous ces documents là où ils vivent, et les convertit en un format unique et lisible par la machine : du texte brut.

Pour se représenter les choses

C'est la mise en place d'une cuisine avant le service : on rassemble les ingrédients de tous les placards, on les lave, on les épluche. Rien de spectaculaire — mais si cette étape est bâclée, tout le reste du plat en pâtit.

Extraire le texte brut

Chaque format de fichier a sa propre « serrure », et il faut la bonne clé pour chacun. Un PDF n'est pas un simple texte : c'est une mise en page (colonnes, tableaux, images) dont il faut reconstituer l'ordre de lecture. Une page web est truffée de menus, bannières et pieds de page qu'il faut écarter. Et un document scanné ne contient aucun texte : il faut le « lire » avec un logiciel d'OCR (reconnaissance optique de caractères), comme le ferait un œil humain.

L'ingestion : des formats hétérogènes en entrée, un texte propre et étiqueté en sortie. C'est ce texte — et lui seul — que les étapes suivantes verront.

Nettoyer : enlever ce qui parasite

Le texte extrait est rarement présentable. Un PDF de 40 pages, c'est aussi 40 fois le même en-tête « Règlement intérieur — Confidentiel », 40 numéros de page, des sauts de ligne au milieu des phrases, des restes de tableaux illisibles. Si on garde tout ça, on va plus tard stocker et rechercher dans du bruit.

Le nettoyage typique consiste à :

supprimer les en-têtes, pieds de page et numéros de page répétés ;
recoller les phrases coupées par la mise en page ;
normaliser les espaces, la ponctuation, les caractères bizarres (ﬁ → fi) ;
écarter ce qui n'apporte rien : sommaires générés, mentions légales dupliquées, boutons « Partager » d'une page web.

« Garbage in, garbage out. » Un système RAG ne peut pas être meilleur que les textes qu'on lui donne. La majorité des problèmes de qualité constatés en production ne viennent pas du modèle d'IA… mais d'une ingestion négligée : texte dans le désordre, tableaux détruits, documents obsolètes jamais retirés.

Les métadonnées : l'étiquette sur le bocal

En plus du texte, on conserve pour chaque document des informations « autour » du contenu, appelées métadonnées : le nom du fichier source, la page, la section, la date de mise à jour, l'auteur, le niveau de confidentialité…

Elles paraissent secondaires, mais elles servent partout par la suite : pour citer la source dans la réponse (« voir règlement intérieur, p. 12 »), pour filtrer (« ne chercher que dans les documents RH »), et pour mettre à jour la bibliothèque quand un document change, sans tout retraiter.

Une étape à rejouer, pas à faire une fois

Vos documents vivent : le règlement est amendé, des pages de wiki sont créées ou supprimées. L'ingestion n'est donc pas un travail ponctuel mais un processus récurrent — typiquement un passage automatique chaque nuit ou chaque semaine, qui détecte les documents nouveaux, modifiés ou supprimés et met la bibliothèque à jour. C'est ce qui garantit que l'assistant répond à partir de la dernière version du règlement, pas celle d'il y a deux ans.

À retenir : l'ingestion transforme des documents hétérogènes en textes propres et étiquetés. C'est l'étape la moins glamour et la plus déterminante du pipeline. Prochaine question : ces textes sont bien trop longs pour être utilisés tels quels — il va falloir les découper.