Esta nueva IA podría llegar a Quest 3 y Quest Pro
Meta está desarrollando un nuevo modelo de IA para sus productos al que ha nombrado SAM.
SAM es el acrónimo de Short for Spectral Agnostic Meta-Learner y es una Inteligencia Artificial que reconoce objetos reales y virtuales que se muestran en la pantalla a través de las cámaras de las gafas de realidad virtual y realidad aumentada y crea máscaras de estos objetos para realizar un seguimiento y aportar información extra.
Esta nueva tecnología podría implementarse en experiencias XR (Realidad Extendida) para añadir una capa más de información a nuestros juegos vr, y sobre todo, a la hora de realizar acciones cotidianas en la vida real a través del Passthrough o utilizando gafas de Realidad Aumentada.
Según Meta, SAM ayudaría mucho a personas con discapacidad visual a reconocer objetos y distancias y luego anunciarlos a través de los altavoces. También se podría usar para crear elaborar recetas o recordatorios de la compra. SAM podría podría reconocer los ingredientes con solo mirarlos a través de las gafas y mostraría automáticamente las recetas adecuadas.
O podría ayudarnos a aprender nuevos idiomas al mostrar una interfaz con los fonemas y la escritura de los objetos reconocidos en el idioma deseado.
Echa un vistazo al vídeo para que entiendas cómo funciona.
SAM se podría usar en numerosos campos donde se necesitara encontrar y segmentar un objeto que aporte valor a la acción, como por ejemplo la robótica.
Ya estamos empezando a ver asistentes robotizados en algunas cafeterías y tiendas de tecnología, todos estos robots cuentan con una inteligencia artificial limitada y SAM podría mejorar sus capacidades de observación y análisis para ayudarnos a encontrar lo que buscamos (y vender más, vaya…).
SAM utiliza técnicas de aprendizaje profundo para identificar patrones en los datos disponibles y generar predicciones precisas, y una de sus principales características es su capacidad para adaptarse a diferentes tipos de datos y problemas.
Por ejemplo, como bibliotecario podría utilizar unas gafas AR con SAM y te sería muy sencillo localizar un libro en concreto entre los miles de ejemplares ordenados en las estanterías.
O en las prácticas de una operación de quirófano, donde SAM podría ofrecer un refuerzo a los alumnos que necesitaran aprender las distintas partes de una arteria o enfocar la vista en el punto de incisión.
Además, SAM podría escanear el mundo físico real y transferir toda la información al mundo virtual adaptándola al software de las gafas. Esto quiere decir que se acabó trazar un sistema guardián cada vez que apaguemos y encendamos las Quest. O en los videojuegos, podría utilizarse para crear entornos virtuales teniendo en cuenta la estructura de tu habitación, incluyendo muebles y cualquier objeto visible.
SAM ha sido entrenado en una variedad de conjuntos de datos, incluidos algunos muy conocidos como MNIST, CIFAR-10 y ImageNet. Los resultados de las pruebas han sido muy impresionantes, superando a otros modelos de inteligencia artificial en la clasificación de imágenes y otras tareas.
Este el vídeo que verás a continuación se muestra la vista a través de un visor VR con passthrough AR (Posiblemente las Meta Quest Pro). Podemos ver como SAM detecta y asila los objetos y personas a los cuales enfoca.
La interfaz que aparece al detectar un objeto muestra qué tipo de objeto es y a qué distancia está de nosotros.
¿Llegará SAM a Quest 3 y Quest Pro?
Por ahora no sabemos si Meta tiene pensado implementar esta tecnología en sus futuras Quest 3, aunque la grabación de los clips parecen haber sido hechas con unas Meta Quest Pro.
Aún así, tras los recientes declaraciones de Meta sobre sus Meta Quest 3 será un dispositivo enfocado en la Realidad Mixta, es muy posible que veamos a SAM en estas gafas vr.
Además Mark Zuckerberg anunció que la compañía pondría un nuevo foco dirigido a la Inteligencia Artificial y junto al Metaverso, dedicarían todos sus esfuerzos por mejorar su tecnología.
Lo que está claro es que el potencial de SAM es asombroso y estaremos muy pendientes de su evolución.
