Centre Expertise LLM à Nancy

Projets impliqués

Projet	objet	scripts	autre contributions
PLM4ALL	terminé	LLM finetuning sur JZ
LLM4ALL	continual training de LLM		1 PhD (Yaya) expert dans le training de LLM
OpenLLM	pretraining de LLM + grand challenge JZ	2 scripts: DS et Megatron-DS	2 inges a recruter
ENACT	multimodal LLM training		10? inges a recruter
GRAIL	multimodal LLM training
CETIA	centre d’expertise

Objectifs

• centraliser les compétences/scripts/models/benchmarks pour pouvoir les partager entre les projets
• automatiser au maximum les benchmarks (scripts “tout-en-un”) pour faciliter la prise en main des nouveaux arrivants
• canal de communication (+ doc) dédié au training des LLM commun
• focus sur Jean Zay et G5K
• garder les scripts à jour

Plan d’actions

• recenser les scripts à faire / déjà faits / à updater, et les priorétiser
• les scripts déjà disponibles sont accessibles ici: https://gitlab.inria.fr/synalp/plm4all
• collecter, nettoyer, preparer les corpus
• en début de projet ENACT: prévoir des séances type “hackaton” pour faire monter en compétences les nouveaux ingés sur le training de LLM