Sommaire
Nouvelle version du SDK de Meta pour Quest : des microgestes et une meilleure expression audio
Présence des microgestes du pouce
La dernière itération du SDK de Meta pour les casques Quest introduit des microgestes du pouce, permettant de faire glisser ou taper votre index.
Cette fonction repose sur la technologie de suivi des mains sans contrôleur pour détecter ces gestes, et améliore également la qualité de l’Audio To Expression.
Pour Unity, les microgestes nécessitent le SDK Meta XR Core. Pour d’autres moteurs, ils sont disponibles via l’extension OpenXR XR_META_hand_tracking_microgestures. Meta affirme que ces microgestes pourraient être utilisés pour mettre en œuvre la téléportation avec un virage rapide sans nécessiter de contrôleurs.
Les développeurs ont ainsi la possibilité d’exploiter ces gestes comme moyen moins contraignant pour naviguer dans une interface.
« Cela suggère que les casques Quest pourraient servir de plateforme de développement pour ces futures lunettes, exploitant les microgestes du pouce, même si le suivi oculaire serait nécessaire pour correspondre aux capacités d’entrée complètes du prototype Orion. »
Amélioration de l’Audio To Expression
Introduite dans la version 71 du SDK, la fonction Audio To Expression est un modèle d’IA embarqué qui génère des mouvements musculaires faciaux plausibles uniquement à partir de l’entrée audio du microphone.
Cette technologie entend proposer des expressions faciales estimées sans matériel de suivi du visage, et remplace l’ancien SDK Oculus Lipsync. Contrairement à Lipsync, qui ne prenait en charge que les lèvres, Audio To Expression prétend utiliser moins de ressources CPU.
La version 74 du Meta XR Core SDK apporte un modèle amélioré qui améliore tous les aspects, y compris l’expressivité émotionnelle, le mouvement de la bouche et la précision des vocalisations non verbales par rapport aux anciens modèles.
Toutefois, le SDK Avatars de Meta n’utilise pas encore ce modèle ni le suivi inside-out du corps.
Utilisation de la caméra Passthrough
L’API de la caméra Passthrough de Quest, récemment attribuée aux développeurs, permet un accès aux caméras avant couleur du casque, une fois l’autorisation de l’utilisateur obtenue. Cette API offre des informations précieuses, telles que les caractéristiques intrinsèques des lentilles et la position du casque, ouvrant la voie à l’exécution de modèles de vision par ordinateur sur mesure.
Plans futurs de Meta
D’une fuite d’un mémo du CTO de Meta est issue une révélation sur des projets de lancement de « une demi-douzaine d’autres appareils portables alimentés par l’IA ». Cela indique une diversification continue des offres de Meta dans le domaine des technologies portables.
