Logotipo Universidade de Vigo

Seleccione su idioma

Haga clic en la imagen para ver un ejemplo de grabación

Una de las principales barreras para el avance del reconocimiento automático de la lengua de signos es la escasez de recursos lingüísticos especialmente diseñados para entrenar algoritmos de inteligencia artificial. Esta carencia también se aplica a la Lengua de Signos Española (LSE). Con LSE_Lex40_UVIGO pretendemos contribuir a reducir esta brecha mediante la generación de un corpus de LSE con signos aislados (glosas) y frases anotadas y segmentadas temporalmente. El diseño, la grabación y el etiquetado son un proyecto conjunto de los grupos de investigación GTM y GRADES de la Universidad de Vigo.

 

Para la realización de este proyecto contamos con la colaboración de la Asociación de Sordos de Vigo (ASORVIGO) y la Federación de Asociaciones de Sordos de Galicia (FAXPG). La mayoría de las personas que utilizan la lengua de signos son sordas, algunas de ellas son intérpretes de lengua de signos y otras son estudiantes de lengua de signos.

El proyecto se ha presentado en el Congreso de Lengua de Signos Española del CNLSE celebrado entre el 19 y el 20 de septiembre de 2019. Haga clic aquí para ver el vídeo de la presentación en el Congreso CNLSE 2019.

El corpus está creciendo a medida que se obtienen más grabaciones de voluntarios y seguirá creciendo mientras los grupos de investigación sigan contando con financiación para esta línea de investigación.

El estado del corpus en mayo de 2020 se refleja en el siguiente artículo:

Laura Docío et al.
LSE_UVIGO: Una base de datos de múltiples fuentes para el reconocimiento de la lengua de signos española
Actas del 9.º Taller sobre la representación y el procesamiento de las lenguas de signos: Recursos de lenguas de signos al servicio de la comunidad lingüística, retos tecnológicos y perspectivas de aplicación, 2020 | PDF

 

Este conjunto de datos se utilizó parcialmente para crear un reconocedor automático de 40 signos aislados para el taller CVPR: 2021 ChaLearn Looking at People Sign Language Recognition in the Wild. En el artículo, entrenamos modelos con conjuntos de datos más grandes de otros idiomas y utilizamos sus parámetros para ajustar otro modelo para el LSE_Lex40: “Isolated Sign Language Recognition with Multi-Scale Spatial-Temporal Graph Convolutional Networks“.