» Billets taggués tokenizer

Le Steering, ou comment comment modifier le comportement d’un LLM sans fine-tuning

- Posté en Sans catégorie par
Le Steering, ou comment comment modifier le comportement d’un LLM sans fine-tuning
Code accessible ici Le Steering, ou Activation steering, consiste à orienter la sortie d’un LLM (la prédiction du token suivant) en manipulant directement les représentations intermédiaires calculées par le modèle au moment de l’inférence dans le but d’activer certains sous-espaces plutôt que d’autres. Traditionnellement les techniques utilisées pour contrôler le comportement [...] Suite...

Comment apprendre l'EAD à un LLM : RAG (2/3)

- Posté en Sans catégorie par
Comment apprendre l'EAD à un LLM : RAG (2/3)
L’option du RAG dans le contexte d’inventaires encodés en EAD/XML peut paraître inadéquate au premier abord (vu le format très structuré des documents à intégrer, et étant donné l’objectif qui n’est pas la réalisation d’un agent conversationnel sur ces documents), mais en fait ce type d’apprentissage combinant récupération préalable de contenu externe et génération de [...] Suite...
"> ');