En el Instituto de Investigación Informática de la Universidad Nacional de La Plata trabajan en el desarrollo de un sistema para traducir a texto de manera automática el lenguaje de señas. Se basa en la filmación de los movimientos de las manos y su posterior análisis mediante algoritmos.
Agencia TSS — Investigadores del Instituto de Investigación Informática (III-LIDI) de la Universidad Nacional de La Plata (UNLP) trabajan en el desarrollo de un sistema de aprendizaje automático que puede leer el lenguaje de señas usado por personas hipoacúsicas. El sistema funciona con una cámara de video conectada a una computadora, que permite captar la posición y los movimientos de las manos de la persona que se expresa en lenguaje de señas y lo traduce a texto en tiempo real.
El primer paso del proyecto consistió en el armado de una base de datos con 800 imágenes de las manos estáticas en las 16 posiciones que se usan durante el lenguaje de señas. En una segunda instancia, la investigación continuó con la filmación de las 64 señas que componen las palabras más usadas del Lenguaje de Señas Argentino. Un equipo de diez personas repitió cinco veces cada seña frente a la cámara y los 3200 videos resultantes fueron analizados por el sistema para incorporar modos particulares de mover las manos en distintas personas y caracterizar los movimientos constitutivos de cada seña. El proyecto todavía está en una fase de laboratorio y se espera que la aplicación final contenga cientos de señas. La base de datos resultante es de acceso público para todo investigador que quiera usarla.
El doctor en Informática Franco Ronchetti, parte del equipo de programación del III-LIDI, le dijo a TSS: “El concepto de partida era que fuese algo de fácil acceso. Registramos las señas con una cámara convencional pero también podría hacerse con una webcam. La idea es que se pueda usar una computadora común, o también se podrían filmar las señas con un teléfono”.
Actualmente, existen plataformas de juegos como Kinetic (de Microsoft) que reconocen gestos corporales, pero fueron descartadas por los investigadores. “Kinetic es un hardware caro y además no tiene muy buenas prestaciones”, dijo Ronchetti. Y agregó: “Reconoce pocos gestos y de cuerpo completo, saltos grandes o patadas. Pero reconocer gestos más sutiles, como el cambio de forma de una mano, le resulta mucho más difícil. Sumado a que queríamos hacerlo con un hardware simple”.
Una particularidad de los lenguajes de señas es que existen muchos léxicos en el mundo, lo que le suma complejidad al proyecto. Los investigadores decidieron comenzar por el Lenguaje de Señas Argentino como primera etapa: “Los intérpretes de señas de la UNLP se mostraron muy motivados y se involucraron en el proyecto para ayudarnos en el desarrollo”, recordó Ronchetti.
Actualmente, el grupo del III-LIDI trabaja en la optimización de los algoritmos que permiten identificar las diferentes señas, lo que implica un análisis detallado sobre aspectos como la ubicación de las manos del intérprete, el reconocimiento de las formas de las manos y la detección del movimiento realizado.
15 jun 2017
Temas: Algoritmos, Aprendizaje automático, Discapacidad, Hipoacusia, III-LIDI, Informática, UNLP
