El caso del guitarrista de heavy metal, Jason Becker, quien perdió movilidad corporal a causa de padecer esclerosis lateral amiotrófica, inspiró a Jesús Enrique Robles López, un estudiante del Departamento de Computación del Cinvestav y guitarrista aficionado, a desarrollar una aplicación para dispositivos móviles que permita realizar efectos de guitarra con ligeros movimientos corporales e incluso gestos.
De manera habitual, las y los guitarristas o bajistas pueden realizar efectos de sonido con las llamadas pedaleras, dispositivos que, conectados al instrumento, ofrece variaciones de sonido antes de llegar al amplificador y, como lo señala su nombre, requieren del pie para activarse.
Sin embargo, la condición de Jason Becker lo llevó a componer su último disco a través de gestos con los ojos; ese material fue tomado de ejemplo para orientar la investigación de la tesis de maestría de Jesús Enrique, la cual se centró en desarrollar una aplicación que, conectada a cualquier tipo de guitarra eléctrica, pueda ofrecer los efectos que precisen las y los músicos.
Lo que motivó al estudiante del Cinvestav a desarrollar este proyecto fue poder compaginar sus dos pasiones: la computación y la música.
“Al ingresar a la maestría en computación del Cinvestav me interesaba el área de la interacción humano-computadora; es decir, cómo podemos comunicarnos con una máquina, y una de esas formas es por gestos, pues ahora es aún más fácil poder interactuar a través de gestos, gracias a los sensores con los que cuentan las computadoras, tabletas o teléfonos móviles”, señaló.
En el caso de la aplicación desarrollada por Jesús Enrique, en colaboración con sus asesores, Sonia Guadalupe Mendoza Chapa y José Guadalupe Rodríguez García, emplean el sensor llamado LiDAR (detección y medición de luz por láser), se emplea en los dispositivos de la marca Apple, ya que permite capturar la profundidad de los gestos corporales, además de hacerlo con poca iluminación y con mucho movimiento alrededor.
Al estar basada en la tecnología empleada por Apple, la aplicación fue desarrollada en el lenguaje de programación Swift y utiliza algunas bibliotecas (base de datos) de reconocimiento de postura corporal. Sin embargo, también fue necesario generar gestos propios para robustecer las opciones de reconocimiento de la aplicación.
“Capturamos gestos corporales de estudiantes, principalmente de manos, para que sean reconocidos por el dispositivo, pero a la par metimos esos datos a programas de redes neuronales a fin de poder generar datos artificiales y aumentamos el volumen para tener arriba de 800 mil gestos, con lo cual pudimos entrenar una red neuronal que sea capaz de detectar diferentes complexiones y altura de personas e identifique sin dificultad los gestos que se están realizando”, destacó.
Por ahora, la aplicación cuenta con cuatro efectos de sonido para guitarra, los cuales son los más empleados y tiene la capacidad de detectar, al menos, 20 gestos que realice la o el músico para programar los sonidos deseados, de modo que, al hacer un movimiento o gesto, el dispositivo móvil (teléfono o tableta) lo detecta y transmite a través de un protocolo de red UDP para realizar un cambio de efecto de sonido.
De acuerdo con Jesús Enrique Robles, si bien el trabajo se desarrolló pensando en la utilidad de la aplicación de música, la intención del proyecto es que, a mediano plazo, tanto el código como los datos (gestos) puedan también servir en proyectos virtuales de rehabilitación y aulas educativas.