Stage - Modèles hybrides d'IA pour la modélisation en XR

L’Équipe de Recherche sur les Processus Innovatifs (ERPI) de l’Université de Lorraine développe depuis quelques années l’outil de formation XR multi canal (AR, VR et WebXR): HELP-XR. C’est un outil open source qui tend à former les utilisateurs à la réalisation de procédures et la manipulation de machine.

Mission du stage

Sous la supervision de GABRIEL Alex, vous participerez à un projet de recherche visant à utiliser des Large Language Models (LLM) et des ontologies pour la modélisation formellement des environnements au sein d'un système de formation en réalité étendue (XR). Votre mission principale sera de développer des modèles d'IA hybrides qui permettent la création de formations interactives à partir d’une description des objectifs pédagogiques, des informations des machines utilisées et de la cible / niveau de précision nécessaire. L’approche pourra être basé sur des « prompts » structuré à partir d’ontologies [1], [2] ou fine-tuning avec des données structurées à partir d’une ontologie [3]. La production du modèle devra produire un résultat sous forme d’un graphe de connaissance [4], [5], [6]. Ce graphe devra être conforme à la norme IEEE ARLEM [7] dont une traduction sous forme d’ontologie a été réalisée (ARLEM-onto [8]), pour autant, cette ontologie pourra être améliorée.

Voici une liste non exhaustive des activités à faire durant le stage.

• Faire une revue de littérature des différentes architectures et approches

• Développer des modèles combinant LLM et ontologies

• Définir un protocole de comparaison des modèles

• Réaliser les tests comparatifs des différents modèles proposés

• Rédiger un rapport de comparaison (possible article de conférence)

• Intégrer dans HELP-XR

Compétences et connaissances techniques

Technologies

• Programmation en Python

• Expérience avec la librairie LangChain appréciée

Outils de versioning : Utilisation de GitLab pour la gestion des versions.

Compétences requises :

• Compétences en modélisation formelle des connaissances (OWL, RDFS, SHACL)

• Compétences en apprentissage automatique et grands modèles de langage

• Connaissances appréciées en modélisation 3D, environnement virtuel et réalité étendue

• Capacité à travailler de manière autonome et en équipe, avec un esprit à la fois curieux et critique

• Bonne communication écrite et orale en français et/ou en anglais

Profil recherché

Étudiant(e) Master 2 ou 3eme année de cycle ingénieur en informatique, IA ou tout autre domaine pertinent.

• Autonomie, rigueur, et capacité à travailler en équipe.

• Un intérêt pour les technologies immersives.

Informations pratiques

• Durée du stage : 6 mois.

• Gratification : minimum légal

Lieu : 8 rue Bastien Lepage, 54000 Nancy.