Sommaire
L’API de Pass-through de Meta sur le point d’être lancée
Qu’est-ce que l’accès caméra Pass-through ?
Les casques comme le Quest 3 et l’Apple Vision Pro utilisent des caméras pour vous permettre de voir le monde réel, mais jusqu’à présent, seul le logiciel système a accès aux données brutes de ces caméras. Les développeurs tiers peuvent utiliser le pass-through comme arrière-plan, mais n’ont pas un accès direct. Ils peuvent exploiter des données issues des systèmes, comme les coordonnées squelettiques des mains et du corps, une modélisation 3D de votre environnement, mais cela se limite souvent à des capacités de suivi d’objets restreintes.
Cela signifie qu’ils ne peuvent pas exécuter leurs propres modèles de vision par ordinateur, limitant sérieusement les capacités d’augmentation de ces casques.
Une exception existe cependant avec le visionOS 2, où Apple permet aux entreprises d’accéder aux caméras pass-through du Vision Pro pour des applications internes non publiques. Cela implique une licence spéciale d’Apple et n’est accessible que dans un cadre professionnel.
L’API Pass-through chez Meta
Meta a annoncé l’API de Pass-through lors de Connect 2024 en septembre dernier, promettant de permettre “toutes sortes d’expériences MR innovantes”. Cinq mois plus tard, une page de support de Meta est en ligne avec une nouvelle permission de “caméra de casque” qui “autorise une application à accéder au flux de la caméra pass-through en temps réel à l’avant de votre casque”.
Identifiée par l’enthousiaste VR Luna, cette page suggère trois utilisations possibles des applications Quest exploitant cette vue pass-through :
Reconnaissance d’objets : Les développeurs peuvent créer des applications reconnaissant et utilisant des objets spécifiques dans votre environnement. Par exemple, un jeu de plateau numérique comprenant des pièces ou des plateaux physiques.
Reconnaissance de lieu : Les développeurs peuvent élaborer des expériences qui réagissent différemment selon le lieu capturé par la caméra. Par exemple, à l’intérieur ou à l’extérieur, à un repère célèbre, ou dans un type de pièce spécifique.
Autres fonctionnalités de machine learning : Permet aux développeurs d’exécuter des modèles de machine learning personnalisés avec les données du flux caméra. Cela pourrait être utilisé pour retexturer/ombrer, des jeux incluant des participants sans casques, la détection de personnes/animaux, ou divers cas d’usage industriels/formations.
Android XR et l’accès au Pass-through
En parallèle, Google a confirmé que Android XR, son prochain système d’exploitation prévu sur le casque autonome de Samsung, permettra aux applications d’accéder dès le lancement à la vue caméra pass-through.
Cela ouvre la porte à l’exécution de modèles de vision par ordinateur personnalisés.
Recevez chaque semaine un résumé des nouvelles les plus importantes en VR et AR directement dans votre boîte de réception.
