Recherche sur les systèmes d'affichage : VR passthrough inversé

Alors que les appareils AR et VR deviennent une partie plus importante de notre façon de travailler et de jouer, comment maintenir une connexion sociale transparente entre les mondes réel et virtuel ? En d'autres termes, comment maintenir une « co-présence sociale » dans des espaces partagés entre des personnes qui peuvent ou non être impliquées dans la même expérience AR/VR ?

Cette année à SIGGRAPH , Facebook Reality Labs (FRL) Research présentera un nouveau concept de co-présence sociale avec les casques de réalité virtuelle : reverse passthrough VR, dirigé par le chercheur Nathan Matsuda. En termes simples, le passthrough inversé est une démonstration expérimentale de recherche en réalité virtuelle qui permet aux yeux d'une personne portant un casque d'être vus par le monde extérieur. Cela contraste avec ce que les casques Quest peuvent faire aujourd'hui avec Passthrough+ et le API Passthrough expérimentale , qui utilise des caméras orientées vers l'extérieur pour aider les utilisateurs à voir facilement leur environnement extérieur lorsqu'ils portent le casque .

Au fil des ans, nous avons fait des progrès en permettant aux consommateurs et aux développeurs d'explorer les fonctionnalités Passthrough pour Oculus. En fait, l'idée de cette recherche expérimentale de passthrough inversé est venue à Matsuda après avoir passé une journée au bureau portant un casque Quest avec Passthrough, réfléchissant à la manière de rendre les environnements de réalité mixte plus homogènes pour les environnements sociaux et professionnels. Portant le casque avec Passthrough, il pouvait très bien voir ses collègues et la pièce autour de lui. Mais ses collègues ne pouvaient pas le voir sans écran externe. Chaque fois qu'il essayait de parler à quelqu'un, ils remarquaient à quel point il était étrange qu'il ne puisse pas établir de contact visuel. Alors Matsuda a posé la question : et si vous pouviez voir ses yeux, cela ajouterait-il quelque chose à la dynamique sociale ?

Lorsque Matsuda a démontré pour la première fois le passthrough inverse pour le scientifique en chef du FRL Michael Abrash en 2019, Abrash n'était pas convaincu de l'utilité de ce travail. Dans la démo, Matsuda portait un casque Rift S personnalisé avec un écran 3D monté à l'avant. Sur l'écran, une image 3D flottante du visage de Matsuda, grossièrement rendue à partir d'un moteur de jeu, a recréé son regard en utilisant les signaux d'une paire de caméras de suivi oculaire à l'intérieur du casque.

Chercheur Nathan Matsuda porte un premier prototype de passthrough inversé avec des écrans 2D orientés vers l'extérieur. Droite: La première démonstration de passage inversé entièrement fonctionnelle utilisant des écrans de champ lumineux 3D.

"Ma première réaction a été que c'était une sorte d'idée loufoque, une nouveauté au mieux", a déclaré Abrash. "Mais je ne dis pas aux chercheurs quoi faire, car vous n'obtenez pas d'innovation sans la liberté d'essayer de nouvelles choses, et c'est une bonne chose, car maintenant c'est clairement une idée unique avec une véritable promesse."

Près de deux ans après la démonstration initiale, la technologie d'affichage 3D et le prototype de recherche ont considérablement évolué, avec des optiques, des composants électroniques, des logiciels et une gamme de technologies de support spécialement conçus pour capturer et représenter des visages 3D plus réalistes. Ces progrès sont prometteurs, mais ces recherches sont clairement encore expérimentales : Attaché par de nombreux câbles, il est loin d'être un casque autonome, et les rendus des yeux et du visage ne sont pas encore tout à fait réalistes. Cependant, il s'agit d'un prototype de recherche conçu dans l'esprit de la philosophie de base de FRL Research pour fonctionner avec des concepts lointains qui peuvent sembler un peu farfelus. Bien que ce travail soit loin d'être une feuille de route de produit, il offre un aperçu de la façon dont le passthrough inversé pourrait être utilisé dans les espaces collaboratifs du futur - à la fois réels et virtuels.

Gauche: Un casque VR avec l'affichage externe désactivé, représentant l'état actuel de la technique. Aucun repère de regard n'est visible à travers le boîtier opaque du casque. Au milieu : un casque VR avec des écrans 2D orientés vers l'extérieur, comme proposé dans des travaux universitaires antérieurs[1][2][3][4]. Certains repères du regard sont visibles, mais la perspective incorrecte limite la capacité du spectateur à discerner la direction du regard. Droite: Notre prototype récent utilise des écrans de passthrough inversés 3D, montrant une perspective correcte pour plusieurs spectateurs externes.

Intercommunication inverse

Le composant essentiel d'un casque passthrough inversé est l'écran 3D orienté vers l'extérieur. Vous pouvez simplement placer un écran 2D à l'avant du casque et afficher une projection plate du visage de l'utilisateur dessus, mais le décalage entre le visage réel de l'utilisateur et l'avant du casque crée un effet visuellement discordant et non naturel qui casse tout espoir de lire le contact visuel correct. Au fur et à mesure que le prototype de recherche évoluait, il était clair qu'un affichage 3D était une meilleure direction, car il permettrait aux yeux et au visage de l'utilisateur d'apparaître à la bonne position dans l'espace à l'avant du casque. Cette représentation aide à maintenir l'alignement lorsque les spectateurs externes se déplacent par rapport à l'affichage 3D.

Il existe plusieurs façons établies d'afficher des images 3D. Pour cette recherche, nous avons utilisé un écran à champ lumineux à microlentilles car il est fin, simple à construire et basé sur la technologie LCD grand public existante. Ces écrans utilisent une petite grille de lentilles qui envoient la lumière de différents pixels LCD dans différentes directions, avec pour effet qu'un observateur voit une image différente lorsqu'il regarde l'écran dans différentes directions. La perspective des images change naturellement afin que n'importe quel nombre de personnes dans la pièce puisse regarder l'affichage du champ lumineux et voir la perspective correcte pour leur emplacement.

Comme pour tout prototype de recherche à un stade précoce, ce matériel comporte toujours des limitations importantes : premièrement, l'angle de vision ne peut pas être trop sévère, et deuxièmement, le prototype ne peut montrer que des objets nets qui se trouvent à quelques centimètres de la surface physique de l'écran. . Les conversations se déroulent en face-à-face, ce qui limite naturellement les angles de vision du passthrough inversé. Et le visage du porteur n'est qu'à quelques centimètres de la surface physique de l'écran, donc la technologie fonctionne bien pour ce cas - et fonctionnera encore mieux si les casques VR continuent de rétrécir, en utilisant des méthodes telles que optique holographique .

Construire le prototype de recherche

Les chercheurs du FRL ont utilisé un Rift S pour les premières explorations du passage inverse. Au fur et à mesure que le concept évoluait, l'équipe a commencé à itérer sur Demi Dôme 2 pour construire le prototype de recherche présenté cette année au SIGGRAPH. En déposant le casque sur le module d'affichage nu, l'ingénieur de recherche en mécanique Joel Hegland a fourni un casque VR d'environ 50 millimètres d'épaisseur pour servir de base à la dernière démo de passthrough inversé. Ensuite, l'opticien Brian Wheelwright a conçu un réseau de microlentilles à installer à l'avant.

Le casque résultant contient deux modules d'affichage qui sont des images miroir l'un de l'autre. Ils contiennent un panneau LCD et une lentille pour l'affichage VR de base. Un anneau de LED infrarouge éclaire la partie du visage couverte par le pod. Un miroir qui ne réfléchit que la lumière infrarouge se trouve entre l'objectif et l'écran, de sorte qu'une paire de caméras infrarouges peut voir l'œil de près. Faire tout cela dans la bande infrarouge invisible empêche le système d'imagerie oculaire de distraire l'utilisateur de l'écran VR lui-même. Ensuite, l'avant du pod a un autre écran LCD avec le réseau de microlentilles.

En haut: Une vue en coupe de l'un des prototypes de modules d'affichage. Bas: Le module d'affichage prototype avec l'électronique du pilote, avant l'installation dans le prototype complet du casque.

Imagerie des yeux et des visages en 3D

La production d'images 3D entrelacées à afficher sur l'écran de champ lumineux représentait un défi important en soi. Pour ce prototype de recherche, Matsuda et son équipe ont choisi d'utiliser une paire de caméras stéréo pour produire un modèle de surface du visage, puis ont projeté les vues de l'œil sur cette surface. Bien que les yeux et le visage projetés qui en résultent ne soient pas réalistes, il ne s'agit que d'une solution à court terme pour ouvrir la voie à un développement futur.

La recherche FRL sur les codecs avatars pointe vers la prochaine génération de cette imagerie. Avatars de codecs sont des représentations réalistes du visage humain, des expressions, de la voix et du corps qui, via un apprentissage en profondeur, peuvent être pilotées à partir d'un ensemble compact de mesures prises à l'intérieur d'un casque VR en temps réel. Ces avatars virtuels devraient être beaucoup plus efficaces pour le passage inversé, permettant un système unifié de représentation faciale qui fonctionne que le spectateur soit local ou distant.

Ci-dessous, une courte vidéo montre un avatar de codec de notre Laboratoire de Pittsburgh fonctionnant sur le prototype de casque passthrough inversé. Ces images, et leur mouvement au fil du temps, semblent beaucoup plus réalistes que celles capturées à l'aide de la méthode actuelle de caméra stéréo, indiquant le type d'améliorations qu'un tel système pourrait apporter tout en fonctionnant en tandem avec des systèmes de téléprésence à distance.

Le prototype de passage inversé affichant une reconstruction faciale d'avatar de codec haute fidélité.

Une voie vers la co-présence sociale en VR

Les lunettes VR et AR totalement immersives avec écran sont des technologies fondamentalement différentes qui finiront probablement par servir différents utilisateurs dans différents scénarios à long terme. Il y aura des situations où les gens auront besoin de la véritable optique transparente des lunettes AR, et d'autres où les gens préféreront la qualité d'image et l'immersion de la réalité virtuelle. Facebook Reality Labs Research, sous la direction de Michael Abrash, a jeté un large filet en sondant de nouveaux concepts techniques afin de faire avancer la balle sur ces deux architectures d'affichage. L'exploration complète de cet espace garantira que le laboratoire a une compréhension de l'éventail complet des possibilités - et des limites - pour les futurs appareils AR / VR, et mettra éventuellement ces résultats en pratique d'une manière qui prend en charge l'interaction homme-ordinateur pour la plupart des gens dans le plus d'endroits.

Le passthrough inversé est représentatif de ce type de travail - un exemple de la façon dont les idées du laboratoire font avancer l'utilité des casques VR. Plus tard cette année, nous donnerons une mise à jour plus globale sur nos recherches sur les systèmes d'affichage et montrerons comment tout cela fonctionne - de varifocal, l'optique holographique , le suivi des yeux et la correction de la distorsion pour inverser le passage - se réunissent pour nous aider à réussir ce que nous appelons le test de Turing visuel en VR.

En fin de compte, ces innovations et bien d'autres se réuniront pour créer des casques VR compacts, légers et portables toute la journée ; qui mélangent des images virtuelles de haute qualité avec des images du monde réel de haute qualité ; et cela vous permet d'être socialement présent avec n'importe qui dans le monde, qu'il soit de l'autre côté de la planète ou à côté de vous. Faire en sorte que cela se produise est notre objectif chez Facebook Reality Labs Research.

Via FACEBOOK Recherche