Meta a offert un aperçu de la R&D XR qui lui coûte des milliards

Michael Abrash dirige l'équipe de Meta Reality Labs Research, qui a été chargée de rechercher des technologies qui, selon la société, pourraient être fondamentales pour XR et les décennies du métaverse à l'avenir. Lors de Connect 2021, Abrash a partagé certains des tout derniers travaux du groupe.

Avatars de codec complets

Le projet Codec Avatar de Meta vise à réaliser un système capable de capturer et de représenter des avatars photoréalistes à utiliser dans XR. Un défi majeur au-delà du simple « scannage » du corps d'une personne consiste à le faire bouger ensuite de manière réaliste, sans parler de rendre l'ensemble du système capable de fonctionner en temps réel afin que l'avatar puisse être utilisé dans un contexte interactif.

La société a montré son travail Codec Avatar à plusieurs reprises, montrant à chaque fois des améliorations . Initialement, le projet a commencé simplement avec des têtes de haute qualité, mais il a depuis évolué vers des avatars complets.

La vidéo ci-dessus est une démo représentant les derniers travaux du groupe sur les Avatars Codec pour tout le corps, qui, selon le chercheur Yaser Sheikh, prennent désormais en charge des mouvements oculaires, des expressions faciales et des gestes des mains et du corps plus complexes qui impliquent un contact avec soi. Ce n'est pas dit clairement, mais la vidéo montre également un spectateur regardant la présentation en réalité virtuelle, ce qui implique que tout se passe en temps réel.

Avec la possibilité de tels avatars réalistes à l'avenir, Abrash a reconnu qu'il est important de penser à la sécurité de son identité. À cette fin, il dit que la société "réfléchit à la manière dont nous pouvons sécuriser votre avatar, que ce soit en le liant à un compte authentifié ou en vérifiant l'identité d'une autre manière".

Rendu photoréaliste des cheveux et de la peau

Alors que les codecs avatars de Meta semblent déjà très convaincants, le groupe de recherche pense que la destination ultime de la technologie est d'atteindre le photoréalisme.

Above Abrash a montré ce qu'il dit être les derniers travaux du groupe de recherche sur le rendu photoréaliste des cheveux et de la peau, et leur éclairage. Il n'a pas été affirmé que cela se produisait en temps réel (et nous en doutons), mais c'est un aperçu de la barre que l'équipe vise avec la technologie Codec Avatar.

Simulation de vêtements

En plus d'une représentation de haute qualité de votre corps, Meta s'attend à ce que les vêtements continuent d'être un moyen important pour les gens de s'exprimer dans le métaverse. À cette fin, ils pensent que faire en sorte que les vêtements agissent de manière réaliste sera une partie importante de cette expérience. Ci-dessus, l'entreprise montre son travail dans la simulation de vêtements et l'interaction pratique.

Espaces virtuels en temps réel haute fidélité

Bien que XR puisse facilement nous emmener vers d'autres réalités, téléporter virtuellement des amis dans votre espace de vie réel serait également formidable. Poussé à l'extrême, cela signifie avoir une recréation complète de votre maison réelle et de tout ce qu'elle contient, qui peut fonctionner en temps réel.

Eh bien… Meta a fait exactement cela. Ils ont construit un faux appartement avec une réplique parfaite de tous les objets qu'il contient. Cela permet à un utilisateur de se déplacer dans l'espace réel et d'interagir avec lui comme d'habitude tout en gardant la version virtuelle synchronisée.

Donc, s'il vous arrivait d'avoir des invités virtuels, ils pourraient en fait vous voir vous déplacer dans votre espace du monde réel et interagir avec tout ce qu'il contient d'une manière incroyablement naturelle. De même, lors de l'utilisation de lunettes AR, avoir une carte de l'espace avec ce niveau de fidélité pourrait rendre les expériences et les interactions AR beaucoup plus attrayantes.

À l'heure actuelle, cela semble servir l'objectif d'élaborer un scénario du « meilleur cas » d'un environnement réel cartographié pour que l'entreprise puisse l'expérimenter. Si Meta constate qu'avoir ce type d'espace réel et virtuel parfaitement synchronisé devient important pour des cas d'utilisation précieux avec la technologie, il peut alors explorer des moyens de permettre aux utilisateurs de capturer facilement leurs propres espaces avec une précision similaire.

Entrée EMG

Alors que le contrôleur et le suivi manuel se sont avérés être des dispositifs d'entrée utiles pour XR aujourd'hui, une fois que nous nous dirigerons vers des casques portés toute la journée que nous rendrons publics, nous ne voudrons probablement pas balancer nos bras ou pousser l'air devant d'entre nous juste pour taper un message ou lancer une application dans le bus.

À cette fin, Meta a recherché un moyen beaucoup plus subtil et naturel d'entrée XR via EMG porté au poignet. Le La société a détaillé certains de ses travaux sur un périphérique de saisie porté au poignet plus tôt cette année , et à Connect la semaine dernière, pour la première fois, elle a montré un prototype de périphérique utilisé pour la saisie de texte.

Bien que l'interface de la fenêtre flottante sur la droite ne soit qu'une simulation, Meta prétend que la vue de gauche montre un appareil prototype réel pilotant les entrées de texte.

Et bien qu'il soit lent aujourd'hui sous sa forme de prototype, Abrash pense qu'il a un énorme potentiel et une marge d'amélioration ; il l'appelle "une technologie véritablement sans précédent".

IA contextuelle

Meta travaille également sur des systèmes d'IA contextuels pour rendre la réalité augmentée plus utile.

Afin d'aider un système à comprendre l'intention de l'utilisateur, Meta a utilisé sa recréation détaillée d'appartement virtuel comme carte sous-jacente pour aider les lunettes à comprendre l'intention de l'utilisateur en observant son regard.

En anticipant l'intention, dit Abrash, l'utilisateur peut n'avoir besoin que d'un seul bouton pour la saisie qui choisit l'action correcte en fonction du contexte, comme allumer un téléviseur ou une lumière. Il est clair de voir comment cette « entrée simple avec contexte » s'accorde bien avec le concept de l'entreprise d'un périphérique d'entrée monté au poignet.

– – – – –