Offre de Thèse Arts et Métiers (ENSAM) et Volvo

Sujet de thèse: Aides visuelles par réalité augmentée pour améliorer la perception péri-véhicule du conducteur

1 - Contexte

La thèse de doctorat proposée a pour contexte une collaboration entre le groupe AB Volvo et le laboratoire LISPEN des Arts et Métiers.

Des réglementations en discussion au sein de l’Europe concernent la demande auprès de constructeurs de camions de garantir une perception par le conducteur de son environnement extérieur plus importante qu’actuellement. Le projet de recherche proposé a pour ambition d’étudier les verrous scientifiques et technologiques induits par ces nouvelles réglementations, proposer des approches innovantes en utilisant en particulier certaines technologies de perception et visualisation avancée et apporter un ensemble de guides méthodologiques utilisant la réalité virtuelle pour une meilleure conception des cabines de camion au regard de ces enjeux.

Deux réglementations existantes ou à venir visent à améliorer la visibilité directe du chauffeur. La première est la réglementation « London DVS ». Elle a été établie pour la ville de Londres, mais sera amenée à s’étendre sur d’autres villes anglaises. Tout véhicule de transport de marchandise devra s’y conformer de manière directe (volume de visibilité directe atteint) ou indirecte (ajout de fonctions de détection et d’alerte chauffeur et autre usager sur le véhicule) pour accéder dans ces villes. Les critères d’acceptabilité visibilité à horizon 2024 sont liés à un volume de 14m3. Pour atteindre ce critère pour un véhicule T ou C, il faut augmenter le volume de visibilité directe d’environ 70% en prenant en compte le fait que l’on ait déjà les CMS et la porte à hublot développée par le carrossier. La seconde concerne la réglementation européenne qui est en cours de finalisation. D’après les premiers éléments recueillis, cette réglementation distinguera une classification d’usage des véhicules (urbain, rural, hors route) pour lesquels des critères de volume de visibilité directe différents seront établis (valeurs pour chaque côté (coté chauffeur, côté passager, frontal) et /ou valeur globale.

2 - Problématique

Le champ de vision depuis le poste de conduite du camion reste limité en raison de contraintes d’ordre structurelle et architecturale (montants de baies, portières, remorque…). Des éléments existent pour améliorer le champ de vision comme les rétroviseurs pour permettre la vision arrière du véhicule (sur la base de miroirs réfléchissants). Mais ceux-ci sont encombrants et contribuent également à une diminution du champ de vision du conducteur. Des caméras de recul avec des écrans au niveau du tableau de bord permettent au conducteur d’avoir une vision de certains aspects de l’arrière de son véhicule.

Ainsi, de nombreux facteurs influent sur la perception de l’espace péri-véhicule par le conducteur :

- Environnement extérieur (ville, autoroute, trafic…) et la dynamique de cet environnement (modification dans le temps)

- Sollicitations extérieures (tâches supplémentaires demandées au conducteur)

- Etat du conducteur (niveau d’expertise, fatigue, stress…)

- Vision de l’environnement extérieur par le conducteur

La perception de l’environnement par le conducteur est donc nécessairement dynamique. Dans ce contexte, la problématique identifiée est de rendre transparent certains éléments de structure du véhicule afin d’augmenter la visibilité sans pour autant saturer la charge cognitive du chauffeur. Pour cela, l’apport de solutions visuelles au conducteur est envisagé pour améliorer sa perception de l’environnement extérieur au véhicule. Etant donné les nombreux facteurs influents potentiels, la problématique posée devra prendre en compte les éléments suivants :

- Couvrir les zones aveugles les plus critiques pour la conduite

- Prendre en compte la proprioception du conducteur (rapport du corps du conducteur vis-à-vis de son véhicule et de la scène extérieure)

- Prendre en compte la situation de conduite (ville, autoroute, trafic…)

- Prendre en compte l’état du conducteur

Il est envisagé d’aborder cette problématique par l’utilisation de la réalité virtuelle comme outil de simulation, évaluation par un panel représentatif d’utilisateurs et aide à la décision sur les différentes configurations imaginées. La question posée par cette approche est liée à la validité de la réalité virtuelle en comparaison avec une approche basée sur un prototype physique au regard des objectifs de la conception de cabine de camion vis-à-vis de la perception de cette dernière par le conducteur.

3 - Etat de l’art

La simulation de conduite constitue un domaine applicatif des systèmes interactifs humain-système ayant une longue expérience. Aussi, de nombreux travaux existent sur les problématiques liées à ce domaine et en particulier les questions de la validation des simulateurs de conduite et le transfert de comportement du simulateur de conduite vers la conduite d’un véhicule réel dans un environnement réel [Tor98, Wyn19]. En effet, la simulation de conduite est non seulement utile pour la formation, mais aussi pour étudier le comportement des conducteurs, notamment dans des situations dangereuses qui ne peuvent être étudiées sur route pour des raisons de sécurité et/ou d'éthique [Cal12]. Par exemple, des recherches ont été menées pour comprendre combien de temps il faut aux conducteurs pour reprendre conscience de la situation après une période d'inattention [Lu17, Reg11], ou si la sécurité des passages de la conduite autonome à la conduite manuelle dans des situations critiques peut être prédite à partir des mesures physiologiques du conducteur (e.g., eye gaze [Wu19], head movement, etc.).

Parmi les nombreuses questions liées à la simulation de conduite et la conduite, celle liée à la charge cognitive du conducteur est d’une grande importance. En effet, de nombreux travaux montrent l’effet de la surcharge cognitive sur le comportement humain. Cette surcharge cognitive peut être due à de nombreux éléments dont la réalisation de plusieurs tâches pendant un temps réduit, l’effet du stress ou la fatigue [Eng17]. En conduite, des études font état de nombreux accidents liés à la surcharge cognitive. Les constructeurs de véhicules étudient très finement la conception du poste de conduite afin de limiter au maximum la surcharge cognitive voire alerter ou accompagner le conducteur dans des tâches délicates. Dans ce contexte, la visualisation des aides à la conduite par le biais des écrans supplémentaires fait l’objet de plusieurs études dans le domaine de la conduite [Gab19, Jos16, Pla09].

Les technologies de la réalité augmentée sont de plus en plus utilisées dans les véhicules afin de donner plus d’informations au conducteur sur l’état du trafic routier, de la voiture ou autres informations utiles [Rod15], [Per19]. Ces dispositifs sont pertinents pour le véhicule du camion étant donné la complexité de ce dernier. De manière plus générale, les systèmes de réalité augmentée (et également de réalité virtuelle) tentent de prendre en compte le comportement du sujet afin d’adapter au mieux les retours d’informations juste nécessaires pour le sujet [Vau16]. En effet, en fonction de l'expérience et des compétences des conducteurs par exemple, l’anticipation et analyse des situations dangereuses n’est pas forcement la même [Bor10], ce qui rend les exigences du système différentes pour chaque utilisateur. Ces systèmes de réalité virtuelle et augmentée utilisent des informations de contexte et du comportement du sujet (par des capteurs variés) combinées à des algorithmes d’intelligence artificielle pour ajuster au mieux l’information à l’humain [Iba21], [Fen20].

Bien que la conduite soit une tâche dominée par les informations visuelles, d'autres informations sensorielles (e.g., provenant des canaux vestibulaires et proprioceptifs) peuvent également contribuer à la perception de l’environnement.

Lors de la conduite, l'évaluation de la vitesse du véhicule et de la distance inter-véhicules sont des compétences cruciales pour des manœuvres telles que le freinage et l'évitement d'obstacles. Du point de vue de la perception humaine, ces compétences reposent sur la représentation du mouvement propre dans l'environnement 3D et sur les distances égocentriques (i.e., la distance inter-véhicules par exemple).

4 - Verrous scientifiques

L’objectif de la thèse est double. Il s’agit d’une part d’étudier les facteurs des technologies de la réalité mixte sur la validité de l’utilisation de ces technologies pour l’aide au développement d’ingénierie. D’autre part et sur la base des technologies de réalité mixte les plus pertinentes, les informations justes nécessaires au conducteur seront étudiées en prenant en compte son état et le contexte de la conduite pour lui permettre d’améliorer sa perception de l’environnement péri-véhicule.

Afin d’atteindre cet objectif, les verrous scientifiques suivants ont été identifiés :

- Verrou scientifique 1 : validité des technologies de réalité virtuelle pour la conception de poste de conduite. Les technologies de la réalité mixte commencent à être à maturité pour envisager leurs utilisations pour la conception de poste de conduite. Dans le contexte de ce verrou scientifique, les facteurs les plus influents des technologies de réalité mixte seront étudiés dans le contexte métier de la conception de poste de conduite. Les critères liés à la visibilité depuis le poste de conduite, la perception par le conducteur et les différents types d’interaction avec le poste de conduite seront pris en compte. Il est attendu la proposition d’un guide méthodologique pour le choix des technologies de réalité mixte les plus pertinentes en fonction des étapes de conception concernées.

- Verrou scientifique 2 : principes de vision indirecte. Les méthodes développées lors du traitement du verrou scientifique 1 seront appliquées à la recherche des principes de vision indirecte depuis le poste de conduite au regard des réglementations à venir. En plus de la vision dite directe sur l’environnement extérieur à travers les vitrages du poste de conduite, des éléments technologiques permettant une vision indirecte seront proposés et étudiés. Ils devront respecter certains critères liés à la perception du conducteur (amélioration de la perception de l’environnement, limitation de la surcharge cognitive). Ces principes serviront à guider les choix technologiques des composants permettant cette vision indirecte.

- Verrou scientifique 3 : informations visuelles adaptatives. Une bonne connaissance du conducteur et du contexte de conduite doit permettre d’adapter en temps réel les informations visuelles apportées au conducteur afin de mieux le prévenir, voire de l’alerter, tout en limitant la surcharge cognitive induite par l’ajout d’informations. Ces informations pourront être apportées par les systèmes de vision indirecte (écrans dynamiques rapportés dans la cabine de conduite) mais aussi par des systèmes de réalité augmentée sur les vitrages de la cabine qui pourront compenser certaines lacunes des systèmes de vision indirecte. Un modèle dynamique simplifié du conducteur sera élaboré afin d’adapter le contenu des informations visuelles au contexte et à l’état du conducteur. Il est imaginé que des mesures et analyses sur le conducteur seront réalisées afin de conduire au mieux les réglages des paramètres d’un modèle prenant en compte le comportement et l’état émotionnel et cognitif du conducteur.

5 - Approche proposée

L’approche proposée est résolument multi-disciplinaire car il s’agit d’œuvrer pour proposer les meilleurs principes possibles de vision augmentée en considérant l’humain au centre du système.

Le schéma suivant offre une vue d’ensemble des éléments intervenant dans l’approche proposée.

Parmi les éléments qui seront pris en compte, on peut lister les suivants (liste non exhaustive) :

- Le conducteur au centre du système :

• La perception par le conducteur de son environnement extérieur influe sur ses réactions

• L’état émotionnel du conducteur influe sur son attention (fatigue, stress…)

• La compétence du conducteur (novice/expert) influe sur son comportement de conduite

• Le conducteur est amené à exécuter d’autres tâches que celle de conduite (téléphone, recherche d’informations…)

• Comment analyser au mieux le comportement du conducteur pour inférer un modèle de conducteur le plus juste possible ?

- La situation de conduite :

• Ville

• Route avec trafic

• Autoroute

• Quel est l’effet de la situation de conduite sur la perception de l’environnement péri-véhicule ?

- Vision du véhicule par rapport à son environnement :

• Vision égo-centrée

• Vision exo-centrée

• Quel est l’effet sur la perception de l’environnement ? Est-ce que cela dépend des préférences du conducteur ?

- Mosaïque d’images :

• Le conducteur a un retour visuel de l’extérieur à travers une mosaïque d’images (vision directe par les vitrages, rajout d’éléments par RA, vision indirecte).

• Certaines images sont traitées afin de mieux l’aider

• Comment améliorer la perception de l’environnement péri-véhicule en agissant sur la position et forme des écrans de vision indirecte, des images en RA sur les vitrages ?

- Aides visuelles adaptatives :

• Apport d’aides visuelles par métaphores visuelles (traitement d’image provenant de capteurs d’images)

• Objectif de prévention et d’alerte au conducteur

• Prise en compte de la dynamique des éléments de la scène

Un certain nombre de technologies sont envisagées pour traiter la problématique posée. Parmi ces technologies, on peut lister les suivantes :

- Couple caméra-écran (critères de choix sur les paramètres, tests, évaluation)

- Traitement d’image (niveau d’explicitation de l’image pour prévenir et alerter en limitant la surcharge cognitive)

- Réalité augmentée (RA sur vitrage si nécessaire pour améliorer une « continuité » du champ visuel)

- Réalité virtuelle (comme outil de validation préalable au déploiement en situation réaliste)

- Simulation de conduite (comme outil de validation préalable au déploiement en situation réaliste)

Le travail du doctorant suivra les étapes suivantes :

- Etat de l’art lié aux problématiques

- Etudes des verrous scientifiques et expressions des questions de recherche

- Propositions d’expérimentations et protocoles expérimentaux

- Développement de démonstrateurs technologiques sur des scénarii représentatifs

- Expérimentations et analyse de données pour validation des propositions

- Publications

6 - Résultats attendus

Les résultats attendus de ces travaux de recherche sont les suivants :

- Démonstrateurs technologiques

- Evaluations en laboratoire

- Publications dans des conférences internationales et dans des journaux à comité de lecture

- Communications en séminaires internes, réunions internes

- Manuscrit de thèse et soutenance finale

7 - Lieu de réalisation des travaux

La thèse faisant l’objet d’une collaboration entre une entreprise et un laboratoire académique, le doctorant sera amené à travailler sur les sites suivants :

- Site de l’entreprise Volvo Trucks à Saint Priest

- Site du laboratoire académique LISPEN des Arts et Métiers à Chalon-sur-Saône

8 - Contacts

· Frédéric Merienne (frederic.merienne@ensam.eu)

· Jean-Philippe Farrugia (jean-philippe.farrugia@univ-lyon1.fr)

· Frédéric Rabellino (frederic.rabellino@volvo.com )

9 - Mots-clés

- Interaction humain-système

- Traitement d’image

- Réalité augmentée

- Réalité virtuelle

- Analyse comportementale

10 - Bibliographie

[Bor10] Borowsky, A., Shinar, D., & Oron-Gilad, T. (2010). Age, skill, and hazard perception in driving. Accident Analysis & Prevention, 42(4), 1240-1249. https://doi.org/10.1016/j.aap.2010.02.001

[Cal12] Calhoun, V. D., & Pearlson, G. D. (2012). A selective review of simulated driving studies: combining naturalistic and hybrid paradigms, analysis approaches, and future directions. Neuroimage, 59(1), 25-35. https://doi.org/10.1016/j.neuroimage.2011.06.037

[Eng17] Engström, J., Markkula, G., Victor, T., & Merat, N. (2017). Effects of cognitive load on driving performance: The cognitive control hypothesis. Human factors, 59(5), 734-764. https://doi.org/10.1177/0018720817690639

[Fen20] Zhenan Feng, Vicente A. González, Carol Mutch, Robert Amor, Anass Rahouti, Anouar Baghouz, Nan Li, Guillermo Cabrera-Guerrero, Towards a customizable immersive virtual reality serious game for earthquake emergency training, Advanced Engineering Informatics, Volume 46, 2020, 101134, ISSN 1474-0346, https://doi.org/10.1016/j.aei.2020.101134.

[Gab19] Gabbard, J. L., Smith, M., Tanous, K., Kim, H., & Jonas, B. (2019). AR drivesim: An immersive driving simulator for augmented reality head-up display research. Frontiers in Robotics and AI, 6, 98. https://doi.org/10.3389/frobt.2019.00098

[Hae16] Haeuslschmid, R., Pfleging, B., & Alt, F. (2016). A design space to support the development of windshield applications for the car. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems (pp. 5076-5091). https://doi.org/10.1145/2858036.2858336

[Iba21] Manuel López Ibáñez, Maximiliano Miranda, Nahum Alvarez, Federico Peinado, Using gestural emotions recognised through a neural network as input for an adaptive music system in virtual reality, Entertainment Computing, Volume 38, 2021, 100404, ISSN 1875-9521, https://doi.org/10.1016/j.entcom.2021.100404.

[Jos16] Jose, R., Lee, G. A., & Billinghurst, M. (2016, November). A comparative study of simulated augmented reality displays for vehicle navigation. In Proceedings of the 28th Australian conference on computer-human interaction (pp. 40-48). https://doi.org/10.1145/3010915.3010918

[Lu17] Lu, Z., Coster, X. and De Winter, J., 2017. How much time do drivers need to obtain situation awareness? A laboratory-based study of automated driving. Applied ergonomics, 60, pp.293-304. https://doi.org/10.1016/j.apergo.2016.12.003

[Per19] Perroud, B., Régnier, S., Kemeny A., & Mérienne, F. (2019). Model of realism score for immersive VR systems. Transportation Research Part F: Traffic Psychology and Behaviour, 61: 238–251. https://doi.org/10.1016/j.trf.2017.08.015

[Pla09] Plavšic, M., Duschl, M., Tönnis, M., Bubb, H., & Klinker, G. (2009). Ergonomic design and evaluation of augmented reality based cautionary warnings for driving assistance in urban environments. Proceedings of Intl. Ergonomics Assoc.

[Ram15] Rameau, F., Ha, H., Joo, K., Choi, J., Park, K., & Kweon, I. S. (2016). A real-time augmented reality system to see-through cars. IEEE transactions on visualization and computer graphics, 22(11), 2395-2404.

[Reg11] Regan, M. A., Hallett, C., & Gordon, C. P. (2011). Driver distraction and driver inattention: Definition, relationship and taxonomy. Accident Analysis & Prevention, 43(5), 1771-1781. https://doi.org/10.1016/j.aap.2011.04.008