Novas patentes da Apple revelam um XR Headset Gaze Control System que pode interpretar diferentes gestos de mão do usuário em ambientes de ressonância magnética

Em maio de 2023, o European Patent & Trademark Office publicou um pedido de patente da Apple que se relaciona tecnicamente a um sistema de computador com um ou mais componentes de geração de exibição e um ou mais dispositivos de entrada que fornecem experiências geradas por computador, incluindo, entre outros, dispositivos eletrônicos que fornecem experiências de realidade virtual e realidade mista por meio de um ou mais monitores.Em termos práticos , a patente da Apple mergulha em fornecer aos usuários do futuro fone de ouvido XR da Apple a capacidade de usar vários gestos manuais para controlar ou mover objetos que o usuário verá em ambientes AR/VR/MR/XR usando entrada de olhar de um sistema de rastreamento de olhar. As câmeras no fone de ouvido usam o mapeamento de profundidade para distinguir os gestos das mãos.

A Apple observa em seu histórico de patentes que métodos e interfaces para interagir com ambientes que incluem pelo menos alguns elementos virtuais (por exemplo, aplicativos, ambientes de realidade aumentada, ambientes de realidade mista e ambientes de realidade virtual) são complicados, ineficientes e limitados.

Por exemplo, sistemas que fornecem feedback insuficiente para executar ações associadas a objetos virtuais, sistemas que requerem uma série de entradas para alcançar um resultado desejado em um ambiente de realidade aumentada e sistemas nos quais a manipulação de objetos virtuais é complexa, tediosa e propensa a erros , criam uma carga cognitiva significativa em um usuário e prejudicam a experiência do usuário com o ambiente de realidade virtual/aumentada. Além disso, esses métodos levam mais tempo do que o necessário, desperdiçando energia. Esta última consideração é particularmente importante em dispositivos operados por bateria.

Em algumas modalidades, o sistema de computador pode distinguir o movimento da mão de um usuário com base no tipo de pegada ou postura da mão que é mantida durante o movimento da mão do usuário. O tipo de pegada ou postura da mão é distinguido com base na posição dos dedos em uma mão respectiva, a orientação de uma mão respectiva, o número de mãos que formam a pegada, a posição relativa e a orientação das mãos que formam a pegada, ou um combinação de dois ou mais dos itens acima, etc.

Em algumas modalidades, uma vez que uma posição de destino ou posição de âncora é selecionada, se um objeto virtual móvel estiver presente na posição de destino ou posição de âncora, o sistema de computador reconhece o movimento da mão do usuário como uma solicitação para mover o objeto virtual em relação aos três ambiente dimensional (e relativo à posição virtual do usuário ou ao ponto de vista da visualização atualmente exibida do ambiente tridimensional) se a(s) mão(s) do usuário estiver(em) em um primeiro tipo de pegada durante o movimento da mão; e o sistema de computador reconhece o movimento da mão do usuário como uma solicitação para mover o ponto de vista em relação ao objeto virtual (e em relação ao ambiente tridimensional) se a(s) mão(s) do usuário estiver em um segundo tipo de pegada diferente do primeiro tipo de aderência.

Na patente FIG. 2 abaixo, vemos um diagrama de blocos ilustrando um controlador de um sistema de computador configurado para gerenciar e coordenar uma experiência CGR para o usuário. O controlador nº 110 abaixo inclui uma combinação adequada de software, firmware e/ou hardware; As Figuras 7A-7D ilustram a seleção de um alvo de navegação e a navegação para o alvo de navegação de acordo com um gesto manual físico.

A patente da Apple Figuras 7E/F/H/I abaixo ilustram a movimentação seletiva de um objeto virtual em relação ao ambiente tridimensional (e o ponto de vista) ou a movimentação do ponto de vista em relação ao ambiente tridimensional (e todos os objetos virtuais dentro do ambiente tridimensional). ambiente dimensional) com base no aperto de mão de um usuário que é mantido durante uma sequência de entradas do usuário.

A invenção da Apple é exaustivamente detalhada em sua patente de 163 páginas que foi arquivada na Europa em 24 de maio de 2023. Para desenvolvedores e geeks que desejam mergulhar mais fundo nos ricos detalhes fornecidos, verifique o número de patente da Europa EP4182799.