IA & Bibliothèques

Convertir du texte en embeddings n'est pas nouveau et n'est pas propre aux LLMs, cette technique était déjà au coeur d'algorithmes tels que word2vec ou seq2seq largement utilisés en NLP. Par contre la nouveauté et la puissance des embeddings issus des Transformers tient dans leur modalité d'encodage du texte qui intègre les relations sémantiques entre chaque mot, ouvrant la voie à des [...] Suite...

Le RAG (Retrieval Augmented Generation) est probablement à ce jour le use-case d’inférence sur des LLM le plus populaire. Aussi appelé “In-context learning”, ce dispositif de requêtage sur un LLM a pour but d’augmenter la précision et la pertinence des réponses du modèle en palliant aux limitations “natives” d’un modèle de langage : domaine de connaissances hors de son [...] Suite...

La notion de prompt est clairement associée pour le grand public aux modèles de langage depuis l’ouverture de ChatGPT, mais désigne en fait une amorce tout à fait courante consistant à poser une question et/ou donner une instruction que ce soit dans la “vraie vie” ou dans un contexte de programmation informatique. Appliqué aux LLMs, le prompt engineering, élevé au rang de [...] Suite...

Pour rattraper le wagon précédent... Ollama Ollama est un framework open source léger et extensible concu pour construire et exécuter des modèles de langage de grande taille sur son ordinateur. Sa popularité croissante (qui se mesure en partie par ses possibilités d'intégration deplus en plus nombreuses avec des outils tiers) tient à plusieurs de ses caractéristiques : Cross-platform : [...] Suite...

Ces deux billets proposent une shortlist non-exhaustive et tout à fait personnelle des outils et librairies open source à disposition permettent d'exploiter les LLM en local (sur son PC ou sur son serveur) afin de s'abstraire des UI disponibles en ligne type ChatGPT, Gemini, Claude ou LeChat, plus ou moins gratuites et plus ou moins utilisables si l'on veut faire de l'inférence sur des [...] Suite...

L’architecture Transformers qui sous-tend les réseaux de neurones du même nom comprend deux facettes distinctes dédiées d’une part à l’encodage et d’autre part au décodage, qui sont mobilisables soit ensemble soit indépendamment l’une de l’autre. Ces types de “stacks” encodage-décodage préexistaient aux LLM dans des modèles NLP de type seq2seq par exemple mais sans le [...] Suite...

Modèle d'apprentissage machine = algorithme + données En IA classique, l’appellation modèle désigne un algorithme entraîné sur des données dans le but de réaliser un objectif prédictif bien spécifique en fonction du jeux de données source. Les types de prédiction peuvent être de différents ordres (régression, classification, clusterisation), les algorithmes à disposition sont [...] Suite...

Déjà publiés sur le sujet GPT, le Game changer, carnet Hypothèses Doc d'Azur, 11 juin 2023 Create an GPT-based Chatbot on Exlibris Knowledge Center, Exlibris Tech Blog, 10 juillet 2023 [...] Suite...