Proposition de thèse CIFRE avec le groupe CGR Cinémas, XLIM et LIAS

En collaboration avec le Groupe CGR Cinémas, nous proposons le sujet de thèse CIFRE ci-joint dont l'intitulé est :

Vers une stratégie basée sur l’intelligence artificielle et les connaissances pour la création de contextes immersifs pour films.

Lieu de la thèse: Groupe CGR (La Rochelle) et les laboratoires XLIM et LIAS (Site du Futuroscope, Poitiers)

Les modalités de candidature:

Merci d'adresser, votre candidature avec un CV, une lettre de motivation ainsi que vos notes de l'année universitaire en cours et de l'année dernière à:

• Ladjel Bellatreche: bellatreche@ensma.fr

• Chaker Larabi: chaker.larabi@univ-poitiers.fr

La date limite de candidature est le 15 mai 2021.

Contexte

Les technologies immersives font partie désormais de notre quotidien et permettent d’améliorer de manière significative l’expérience visuelle des utilisateurs. Bien que notre perception visuelle ne soit très précise que sur une petite portion de la rétine incluant les zones fovéale et para-fovéale (approx. 10°) riches en photorécepteurs de type cône, la vision périphérique (proche, moyenne et lointaine) composant la majorité du champ visuel humain, joue un rôle prépondérant dans la sensation d’immersion. En d’autres termes, l’effet immersif n’est atteint que si le champ visuel est entièrement stimulé. Toutefois, la sollicitation de la vision périphérique pourrait, dans des conditions non contrôlées, générer l’inverse de l’effet escompté et ce en attirant le regard du spectateur vers cette dernière, cassant ainsi le cycle immersif. Cela impose donc de disposer de mécanismes étudiés et éprouvés afin d’éviter d’aboutir à de telles situations.

Par ailleurs, l’immersion est également liée à l’exploration visuelle dans des environnements immersifs. L’analyse du parcours visuel durant l’expérience de l’utilisateur permet de comprendre l’importance des objets composant la scène visualisée y compris les éléments extra-fovéaux. La prédiction de ce type de parcours permet indéniablement d’intégrer la capacité à détecter les éléments pouvant induire la sensation d’immersion et ceux qui la réduisent.

Parmi les technologies existant sur le marché, la technologie ICE IMMERSIVE® utilisée dans les salles ICE, exploitées par le groupe CGR, permet de visionner des films en immersion totale, grâce aux effets lumineux subtils diffusés sur des panneaux LED installés de chaque côté de l'auditorium et à l’éclairage généré par des projecteurs dédiés créant ainsi une atmosphère visuelle favorisant la sensation d’immersion. Les effets lumineux représentent une combinaison synchrone de couleurs et de formes obtenues à partir du contenu du film projeté à l’écran. Ils sont générés grâce à des scripts spécifiques à chaque film, ce qui ne permet pas la généralisation du concept à d’autres films.

Objectifs

Dans cette collaboration entre le groupe CGR et les laboratoires LIAS et XLIM, l’objectif est de définir une stratégie pour la création du contexte immersif (effets lumineux) à partir du contenu de la scène projeté et en se basant sur l’intelligence artificielle et les ontologies. L’idée est de construire un modèle d’apprentissage profond prenant en compte le contenu coloré dominant de la scène, les formes la composant, ainsi que le changement des différentes intensités du son pour générer de manière autonome, efficace et harmonieuse des effets lumineux garantissant un effet immersif au spectateur. Actuellement, le groupe CGR reçoit les films avant leur sortie et une équipe de monteurs/graphistes a pour tâche de créer le contenu ICE à partir des images du film qui doit satisfaire les besoins d’immersion des spectateurs.

L’objectif de cette thèse est de proposer une automatisation de tout ou partie de ce travail manuel.

Pour ce faire le candidat contribuera à :

• Comprendre et formaliser l’expérience manuelle de création du contenu ICE.

• Définir une ontologie pour décrire d’une manière consensuelle un film afin d’expliciter le domaine de l’étude.

• Constituer d’une base d’images dédiée à l’apprentissage du modèle et se basant sur l’expérience du groupe CGR tout en extrayant leurs métadonnées associées.

• Concevoir un modèle d’apprentissage profond prenant en entrée tous les paramètres intervenant dans la définition des effets lumineux et notamment les modèles perceptuels associés. La mise en place de ce modèle nécessite une méthodologie compréhensive permettant de bien décrire toutes les étapes de ce modèle afin de faciliter son explicabilité auprès de la CGR.

• Développer une procédure de test et de validation permettant de mesurer la qualité de l’expérience des spectateurs, suivant des paradigmes normalisés afin de déterminer le confort, le niveau d’immersion, la qualité et de contrôler les possibles effets sanitaires générés.

Compétences souhaitées

Nous recherchons un étudiant ayant un Master dans les disciplines suivantes : informatique, traitement du signal et des images, apprentissage automatique ou disciplines connexes, ayant des compétences dans au moins l'un des domaines suivants :

• Bonne connaissance de modélisation ontologique.

• Bonne connaissance du traitement d'images et de l'apprentissage automatique.

• Excellentes compétences en programmation (Python, C, C++, MATLAB).

• Des connaissances sur la perception visuelle ou la mesure de l’expérience utilisateur seraient appréciées.

Références

1. Laura Turban, Fabrice Urban, and Philippe Guillotel. 2017. Extrafoveal Video Extension for an Immersive Viewing Experience. IEEE Transactions on Visualization and Computer Graphics 23, 5: 1520– 1533.

2. Thomas R. Gruber: The Role of Common Ontology in Achieving Sharable, Reusable Knowledge Bases. KR 1991: 601-602

3. Naoki Kimura and Jun Rekimoto. 2018. ExtVision: Augmentation of Visual Experiences with Generation of Context Images for a Peripheral Vision Using Deep Neural Network. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (CHI ’18). ACM, New York, NY, USA.

4. Konrad, Robert, Anastasios Angelopoulos, and Gordon Wetzstein. "Gaze-contingent ocular parallax rendering for virtual reality." ACM Transactions on Graphics (TOG) 39.2 (2020): 1-12.

5. Hutchinson, Ben and Smart, Andrew and Hanna, Alex and Denton, Emily and Greer, Christina and Kjartansson, Oddur and Barnes, Parker and Mitchell, Margaret, Towards Accountability for Machine Learning Datasets: Practices from Software Engineering and Infrastructure, FAccT 21, pp. 560-575.

6. Ying, Zhenqiang, and Alan Bovik. "180-degree Outpainting from a Single Image." arXiv preprint arXiv:2001.04568 (2020).