Interação mãos-livres: rastreamento de olhos e comandos de voz no HoloLens 2

Criar aplicativos de computação espacial intuitivos requer ir além de controladores físicos e gestos manuais. Projetar para ambientes de mãos livres abre opções de acessibilidade poderosas e fluxos de trabalho simplificados para os trabalhadores de linha de frente e usuários diários. Este curso escrito orienta você através dos conceitos fundamentais e implementação prática de rastreamento de olhos e comandos de voz no HoloLens 2. Você fará a transição de entender as teorias de entrada espacial para configurar objetos virtuais totalmente responsivos, conscientes do olhar e ativados por fala. O que você vai aprender: - Entenda os conceitos fundamentais de rastreamento ocular e a mecânica de seleção baseada no olhar - Configurar comandos de voz e subsistemas de reconhecimento de fala para entrada de linguagem natural - Implemente comportamentos de objetos com reconhecimento de olhar que reagem quando um usuário os olha - Aplique perfis de interação modernos do Mixed Reality Toolkit (MRTK) para simplificar a configuração - Projete interfaces de usuário acessíveis e sem mãos usando as melhores práticas em UX espacial - Solucione problemas comuns de calibração e desafios de rastreamento ambiental na realidade mista Você começará aprendendo a terminologia básica de computação espacial e os conceitos básicos de configuração antes de passar para estratégias de implementação passo a passo. As lições baseadas em texto orientam você através de estruturas de código e configurações para conectar entradas de olhar e fala a ações de objetos. Este curso é projetado para desenvolvedores iniciantes, designers de UX e entusiastas da computação espacial. Nenhuma experiência prévia com o desenvolvimento do HoloLens é necessária, embora uma familiaridade básica com conceitos de programação orientada a objetos seja útil. Comece a ler hoje mesmo para criar experiências interativas mais naturais e acessíveis na realidade mista.