Virtual HHeroeSS es un videojuego colaborativo de realidad virtual para trabajar las habilidades sociales y la inteligencia emocional. Es un proyecto de la Asociación ANDAR, de Tudela, y lo desarrollamos en OverFuture para Meta Quest 3, con el equipo de psicología de la asociación.
Aquí contamos qué supuso desarrollar un videojuego de realidad virtual con IA para usarlo en consulta, con las decisiones de diseño, la conversación por voz y el juego entre dos. Qué es la herramienta y cómo se usa lo cuenta la landing de Virtual HHeroeSS, y el resumen del proyecto está en su ficha.
De Family HHeroeSS a la realidad virtual.
La historia empieza en 2020, cuando la asociación decidió crear su primer videojuego, Family HHeroeSS, para jugar en familia en el móvil. En 2023 hicimos con ella TDAH Virtual Fit, cinco minijuegos para Meta Quest 2.
Las primeras versiones de Virtual HHeroeSS que conservamos son de junio de 2024. El proyecto tiene el apoyo del Programa Innova de Fundación Caja Navarra y Fundación «la Caixa», y se presentó en prensa en junio de 2025. Su mundo, PandarA, tiene seis reinos y 24 capítulos, cuatro por reino.
Está pensado para niños y niñas con TDAH y sus familias, y para cualquier menor que quiera trabajar su autoconocimiento o su gestión emocional. Es una herramienta de apoyo en manos de profesionales, no sustituye la terapia.
Lo que pidió la asociación en la primera reunión.
El equipo de psicología de ANDAR escribió los objetivos, los diálogos y las misiones. En la primera reunión dejó claras dos cosas que no quería, que el jugador pudiera morir y que hubiera monedas.
Esa petición marcó el diseño. El protagonista no tiene vida ni salud, así que nunca muere. Tampoco existe el concepto de perder. Si una poción sale mal, el caldero explota y asusta, pero la partida sigue.
También pidió que cada capítulo contara una historia al empezar y al terminar. Los capítulos se juegan la primera vez en orden y después se pueden repetir, y el progreso se guarda en las gafas, en el perfil de cada menor.
Pensado para la consulta.
Virtual HHeroeSS se juega entre dos, el menor y un adulto profesional, al que el juego llama «el escolta». Queríamos que el profesional pudiera seguir la sesión sin tener que llevar las gafas todo el tiempo.
La solución fue un portátil conectado a las gafas por Air Link o por cable. Desde él, el profesional ve lo que pasa y controla el avance del menor.
Solo un tipo de actividad obliga al profesional a ponerse las gafas, el puzle colaborativo. Hubo tres razones: las gafas molestan al cabo de un rato, impiden atender a nada más y harían que la sesión dependiera de que el profesional estuviera dentro del juego.
Si piensas en algo parecido, empieza por lo que quieren conseguir tus profesionales y por qué tienen que controlar ellos la sesión. Y decide pronto qué datos salen del dispositivo, sobre todo si hay IA y menores.
Por qué cuatro tipos de actividad.
Cada capítulo es de uno de estos tipos: combate, cuestionario, puzle colaborativo o mundo de los sueños. El combate nunca es lo principal, el cuestionario se juega solo con la voz y el gatillo, y el puzle obliga a cooperar. El mundo de los sueños es una conversación por voz que el profesional controla desde el portátil. La landing explica cada actividad con ejemplos.
Un panel que solo ve el profesional.
En los capítulos del mundo de los sueños, el menor habla con un personaje y el profesional tiene un panel para valorar cada respuesta. Puede aprobarla o desaprobarla y hacer avanzar o reiniciar la conversación. En el dispositivo del menor, ese panel no aparece.
Cada capítulo tiene sus botones. En el capítulo 4, del reino de los humanos, el profesional marca si la respuesta es educada, maleducada o descontextualizada. Con una maleducada, la conversación vuelve a empezar tras un fundido a negro. En el capítulo 7, de los elfos, puede pedir «¿Por qué?» tantas veces como quiera.
Hablar con un personaje por voz.
En el capítulo 5, el menor elige un acompañante con IA, que puede ser un hombre lobo, un ent o un dragón del bosque.
Para hablarle mantiene pulsado el botón A del mando derecho, como un walkie, y al soltarlo el juego espera medio segundo antes de cerrar el micrófono.
El reconocimiento de voz se hace en las propias gafas, con Recognissimo y el modelo de Vosk en español.
Cada pregunta viaja con el contexto del capítulo, que incluye su título, el objetivo actual y el reino.
La respuesta la genera OpenAI y la voz, Overtone, y el código tiene además un segundo camino con un modelo local, LLMUnity.
La decisión más importante fue qué sale de las gafas. A OpenAI solo viaja el texto de la pregunta, ya transcrito, con las instrucciones del personaje y el contexto del capítulo. No viaja el audio ni el nombre del perfil.
Por qué todo se cuenta con voz.
Decidimos quitar casi todas las interfaces y contarlo todo con audio. Al entrar al juego por primera vez ya empiezan a hablarte. Cada personaje tiene su voz, generada con IA en ElevenLabs y modulada después en Audition.
Los personajes mueven los labios y expresan emociones con SALSA LipSync. Cada frase de la historia tiene un identificador de diálogo y otro de audio, que apunta a su fichero. Así se pudo montar una historia de 24 capítulos sin perder ninguna frase.
Gerión y Noirón, los gemelos gigantes, son dos personajes distintos, con su propia voz. Comparten los ajustes de base y llevan modulaciones diferentes.
Jugar entre dos.
El multijugador usa Photon PUN 2, con salas de dos jugadores. En los capítulos colaborativos, el escolta y el menor se conectan online, y un guía les explica cómo.
Los botones que hay que pulsar a la vez son objetos físicos hechos con HurricaneVR. El objetivo se cumple cuando hay tantos botones pulsados como jugadores. Si el menor es muy pequeño o no entiende qué hacer, el escolta le guía.
El juego está hecho con Unity 6, URP y el Meta XR SDK.
Detrás de los 24 capítulos hay 14 tipos de objetivo reutilizables sobre una clase base. Eso es lo que permitió montar tantos capítulos con un equipo pequeño.
Lo que aprendimos.
La mejor decisión técnica de Virtual HHeroeSS no fue la IA, sino poner al profesional en el centro. El portátil, el panel y el reparto de las actividades salen de ahí.
También aprendimos que, en este contexto, la IA es útil cuando alguien la supervisa y cuando sabe en qué capítulo está. Y que un mundo sin interfaces se sostiene con buenas voces.
Virtual HHeroeSS se distribuye por un canal privado, a través de la asociación. Cómo trabajamos este tipo de proyectos está en realidad virtual para el sector de la salud.
