Sujet These Arts et Metiers Projet REVA

Sujet: Recherche d’un modèle individualisé d’interaction par l’analyse du sens de présence pour l’optimisation de l'immersion virtuelle. Application au contexte de la rééducation fonctionnelle

Contexte

L'immersion virtuelle consiste à médiatiser un environnement virtuel à l'aide d'interfaces sensorielles (technologies de réalité virtuelle). L'immersion virtuelle résulte d'une alchimie complexe entre les technologies de réalité virtuelle, l'application (scénario) et le sujet (profil). On parle de sens de présence par la capacité du dispositif à faire en sorte que le sujet "oublie" qu'il est dans un monde réel et devient complètement immergé dans l'environnement virtuel.

La thèse a pour objectif d’optimiser l'immersion dans un environnement virtuel immersif (EVI) en mettant en évidence la singularité de chaque sujet immergé par l’extraction de sa signature sensorielle à partir de laquelle nous proposerons un modèle individualisé d’interaction.

Ces travaux s’appuieront sur une collaboration scientifique étroite avec le laboratoire CAPS-INSERM pour ce qui concerne les apports théoriques sur le couplage action-perception et l’analyse du sens de présence.

Des méthodes et outils des sciences de l'ingénieur seront développées afin de proposer les conditions optimales d'immersion virtuelle. Deux verrous seront abordés : 1) analyse et mesure du sens de présence en immersion virtuelle ; 2) mise en œuvre et analyse des facteurs influents de l'immersion virtuelle (représentation du corps, retours sensoriels, interaction, environnements virtuels).

Les travaux donneront lieu à des expérimentations dans le contexte de la rééducation fonctionnelle à travers une collaboration avec la plateforme d’investigation technologique du CHU de Dijon (projet REVA).

État de l’art

L’immersion virtuelle consiste à donner l’illusion au sujet qu’il est en présence dans un environnement virtuel. Cette illusion est induite d’une part par des modalités d’interaction lui permettant d’agir sur l’environnement virtuel comme il le ferait dans le monde réel et d’autre part par des retours d’informations provenant de l’environnement virtuel à travers des technologies agissant sur ses sens (vision, ouïe, toucher, proprioception…). En raison du couplage fort entre le sujet et la technologie, les facteurs influents de l'immersion virtuelle restent difficiles à déterminer. Les expériences d'immersion virtuelle montrent que les sujets peuvent avoir des réactions et comportements très similaires en comparaison avec des situations équivalentes dans le monde réel (expériences sur le vertige par exemple). Cependant, il est souvent constaté une fatigue plus importante pour le même type de tâche (entre la situation en virtuel et celle en réel). Certaines expériences montrent que le sens de présence du sujet est variable en fonction des technologies utilisées, des environnements virtuels mis en œuvre, du scénario de l'application ou encore du profil du sujet et de son état émotionnel.

Problématique scientifique

a problématique de la thèse est l'optimisation de l'immersion virtuelle.

Les verrous identifiés dans le travail de thèse proposé sont les suivants :

- Analyse du sens de présence en EVI par la mesure de signaux physiologiques (battement du cœur, sudation, mouvement du corps, mouvement des yeux, EEG…) et corrélation avec l'état émotionnel du sujet

- Analyse des facteurs permettant d'optimiser l'immersion virtuelle. L’interaction sera l’un des facteurs prépondérants qui sera étudié dans ce cadre.

Démarche proposée

L'objectif de la thèse est d'optimiser l'immersion virtuelle. Certaines expériences montrent que le sens de présence du sujet est variable en fonction des technologies utilisées, des environnements virtuels mis en œuvre, du scénario de l'application ou encore du profil du sujet et de son état émotionnel.

Ainsi, dans un premier temps, des méthodes et outils de l'analyse objective de l'immersion virtuelle (sens de présence, état émotionnel) seront développés afin d’extraire une signature sensorielle individuelle pour chaque sujet. Une approche innovante combinant l’homologie persistante, concept issu de la topologie algébrique, et des méthodes d’apprentissage statistique (SVM, réseaux de neurones, …) sera proposée afin de permettre la classification des données multidimensionnelles acquises (provenant des signaux physiologiques).

Dans un second temps, les facteurs les plus influents de l'immersion virtuelle seront étudiés et mis en œuvre (représentation du corps, retours sensoriels, interaction et environnements virtuels). Ces facteurs seront étudiés afin d’évaluer leur poids respectif dans le mécanisme de l’immersion virtuelle et son optimisation. L’hypothèse forte qui est faite est que l’interaction est le facteur prépondérant dans l’immersion virtuelle. L’interaction sera par conséquent plus particulièrement étudiée dans son apport à l’immersion virtuelle. L’hypothèse est que l’interaction doit nécessairement être conçue en adéquation avec le profil de l’utilisateur interagissant. Des méthodes seront mises en œuvre afin de déterminer au mieux le profil de l’utilisateur en interaction de façon à proposer un modèle d’interaction individualisé et permettre une adaptation optimale à l’utilisateur des modalités de l’interaction.

Des expérimentations seront réalisées dans le contexte de la rééducation fonctionnelle dans le cadre du projet REVA.

L'approche proposée suivra les étapes suivantes :

• Etat de l'art (sens de présence, état émotionnel, mesures physiologiques, immersion virtuelle)
• Analyse du sens de présence et de l'état émotionnel en EVI par mesure de signaux physiologiques
• Proposition d'un modèle du sens de présence
• Proposition d’un modèle d’interaction individualisé
• Développement d'une boîte à outils
• Réalisation d'un démonstrateur technologique, expérimentations
• Analyse de l'influence de différentes conditions (représentation, retours sensoriels, environnement virtuel)
• Rédaction d'articles et du manuscrit de thèse

Résultats attendus

Les objectifs des travaux de thèse sont de contribuer à la compréhension des facteurs influents du sens de présence en immersion virtuelle. Il est attendu la proposition de méthodes robustes pour l'analyse du sens de présence et de l'état émotionnel du sujet par les signaux physiologiques et la proposition de modalités sensorielles et d'interactions pour améliorer le sens de présence. Il est également attendu la proposition d'une meilleure mise en condition du sujet dans son expérience d'immersion virtuelle.

Les livrables seront constitués de démonstrateurs technologiques, articles scientifiques publiés dans des revues internationales à comité de lecture, communications dans des conférences internationales et manuscrit de thèse de doctorat.

Lieu de réalisation des travaux

Les travaux seront réalisés sur le site de Chalon-sur-Saône du laboratoire Lispen des Arts et Métiers.

Contacts

Arts et Métiers - Institut Image, Chalon-sur-Saône :

• Christophe Guillet (christophe.guillet@ensam.eu)

• Frédéric Merienne (frederic.merienne@ensam.eu)

Bibliographie

[1] Chapt. 10: Enactive Emotion and Presence in Virtual Environments, Emotions, Technology, and Behaviors, 2016, Pages 181-210, Tom Willans, Sue Rivers, Ekaterina Prasolova-Førland

[2] A. Sacau, J. Laarni, T. Hartmann. Influence of individual factors on presence. Computers in Human Behavior 24 (2008). 2255-2273.

[3] A. Sutcliffe, B. Gault, JE. Shin. Presence, memory and interaction in virtual environments. Int. J. Human-Computer Studies 62 (2005) 307-327.

[4] M. Clemente, A. Rodriguez, B. Rey, M. Alcaniz. Assessment of the influence of navigation control and screen size on the sense of presence in virtual reality using EEG. Expert systems with applications 41 (2014) 1584-1592.

[5] S.E. Kober, C. Neuper. Using auditory event-related EEG potentials to assess presence in virtual reality. Int. J. Human-Comuter Studies 70 (2012) 577-587.

[6] H. Almahasneh, W.T. Chooi, N. Kamel, A.S. Malik. Deep in thought while driving: an EEG study on drivers' cognitive distration. Transportation Research Part F 26 (2014) 218-226.

[7] Y.K. Wang, S.A. Chen, C.T. Lin. An EEG-based brain-computer interface for dual task driving detection. Neurocomputing 129 (2014) 85-93.

[8] S. Sylaiou, K. Mania, A. Karoulis, M. White. Exploring the relationship between presence and enjoyment in a virtual museum. Int. J. Human Computer Studies 68 (2010) 243-253.

[9] Giansiracusa, N., Giansiracusa, R., & Moon, C. (2017). Persistent homology machine learning for fingerprint classification. arXiv preprint arXiv:1711.09158.

[10] Buchet M., Hiraoka Y., Obayashi I. (2018) Persistent Homology and Materials Informatics. In: Tanaka I., (eds) Nanoinformatics. Springer, Singapore

[11] Jaejun Yooa, Eun Young Kimb, Yong Min Ahnc, Jong Chul Yea, Topological persistence vineyard for dynamic functional brain connectivity during resting and gaming stages, Journal of Neuroscience Methods 267 (2016) 1–13