A Apple está avançando em sua jornada de inteligência artificial com um novo modelo projetado para entender melhor as interfaces de exibição móveis.
Chamado de Ferret-UI, este modelo foi desenvolvido para aprimorar a compreensão das nuances das telas de UI móveis, o que pode ter implicações significativas para o Siri e outros serviços da Apple.
O Ferret-UI foi destacado em um estudo realizado pela Cornell University, revelando suas capacidades em compreender e categorizar widgets, ícones e texto em telas de dispositivos móveis. Essa nova abordagem elimina a necessidade de ferramentas externas de detecção, o que melhora significativamente a interação com a UI e abre portas para novas aplicações, como melhorar a acessibilidade dos dispositivos.
Além disso, o Ferret-UI introduz um recurso de ampliação que melhora a legibilidade dos elementos da tela, facilitando a interpretação da IA. Essa capacidade de trabalhar diretamente com dados brutos de pixels da tela pode revolucionar a interação da UI, oferecendo experiências de usuário mais intuitivas e eficientes.
Embora ainda não esteja confirmado se o Ferret-UI será integrado ao Siri ou a outros serviços da Apple, os benefícios potenciais chamaram a atenção. Melhorar a compreensão das UIs móveis por meio de uma abordagem multimodal poderia significar que o Siri entenderia melhor as intenções dos usuários nos aplicativos e lidaria com tarefas mais complicadas.
Além disso, poderia ajudar o Siri a entender melhor o contexto das consultas, considerando o que está na tela, permitindo que ele lidasse com ações como navegar pelos aplicativos ou entender o que está acontecendo visualmente, tornando sua utilização uma experiência mais fluida e eficaz.
SAIBA MAIS!
