embeddings

Comment apprendre l'EAD à un LLM : RAG (2/3)

09 novembre 2024 - Posté en Sans catégorie par Géraldine Geoffroy

L’option du RAG dans le contexte d’inventaires encodés en EAD/XML peut paraître inadéquate au premier abord (vu le format très structuré des documents à intégrer, et étant donné l’objectif qui n’est pas la réalisation d’un agent conversationnel sur ces documents), mais en fait ce type d’apprentissage combinant récupération préalable de contenu externe et génération de [...] Suite...

Moteur de recherche sémantique et cartographie sémantique de collections

01 juin 2024 - Posté en Sans catégorie par Géraldine Geoffroy

Convertir du texte en embeddings n'est pas nouveau et n'est pas propre aux LLMs, cette technique était déjà au coeur d'algorithmes tels que word2vec ou seq2seq largement utilisés en NLP. Par contre la nouveauté et la puissance des embeddings issus des Transformers tient dans leur modalité d'encodage du texte qui intègre les relations sémantiques entre chaque mot, ouvrant la voie à des [...] Suite...

Qu'est-ce que le RAG ?

31 mai 2024 - Posté en Sans catégorie par Géraldine Geoffroy

Le RAG (Retrieval Augmented Generation) est probablement à ce jour le use-case d’inférence sur des LLM le plus populaire. Aussi appelé “In-context learning”, ce dispositif de requêtage sur un LLM a pour but d’augmenter la précision et la pertinence des réponses du modèle en palliant aux limitations “natives” d’un modèle de langage : domaine de connaissances hors de son [...] Suite...

Une brève introduction aux LLMs (2/2)

27 avril 2024 - Posté en Sans catégorie par Géraldine Geoffroy

L’architecture Transformers qui sous-tend les réseaux de neurones du même nom comprend deux facettes distinctes dédiées d’une part à l’encodage et d’autre part au décodage, qui sont mobilisables soit ensemble soit indépendamment l’une de l’autre. Ces types de “stacks” encodage-décodage préexistaient aux LLM dans des modèles NLP de type seq2seq par exemple mais sans le [...] Suite...