Logotipo Universidade de Vigo

Corpus LSE_LEX40_UVIGO

Faga clic na imaxe para ver un exemplo de gravación

Unha das principais barreiras para o avance do recoñecemento automático da lingua de signos é a escaseza de recursos lingüísticos especialmente deseñados para adestrar algoritmos de intelixencia artificial. Esta carencia tamén se aplica á Lingua de Signos Española (LSE). Con LSE_Lex40_UVIGO pretendemos contribuír a reducir esta brecha mediante a xeración dun corpus de LSE con signos illados (glosas) e frases anotadas e segmentadas temporalmente. O deseño, a gravación e a etiquetaxe son un proxecto conxunto dos grupos de investigación GTM e GRADES da Universidade de Vigo.

 

Para a realización deste proxecto contamos coa colaboración da Asociación de Xordos de Vigo (ASORVIGO) e a Federación de Asociacións de Xordos de Galicia (FAXPG). A maioría das persoas que utilizan a lingua de signos son xordas, algunhas delas son intérpretes de lingua de signos e outras son estudantes de lingua de signos.

O proxecto presentouse no Congreso de Lingua de Signos Española do CNLSE celebrado entre o 19 e o 20 de setembro de 2019. Faga clic aquí para ver o vídeo da presentación no Congreso CNLSE 2019.

O corpus está a crecer a medida que se obteñen máis gravacións de voluntarios e seguirá crecendo mentres os grupos de investigación sigan contando con financiamento para esta liña de investigación.

O estado do corpus en maio de 2020 reflíctese no seguinte artigo:

Laura Docío et al.
LSE_UVIGO: Una base de datos de múltiples fuentes para el reconocimiento de la lengua de signos española
Actas del 9.º Taller sobre la representación y el procesamiento de las lenguas de signos: Recursos de lenguas de signos al servicio de la comunidad lingüística, retos tecnológicos y perspectivas de aplicación, 2020 | PDF

 

Este conxunto de datos utilizouse parcialmente para crear un reconocedor automático de 40 signos illados para o taller CVPR: 2021 ChaLearn Looking at People Sign Language Recognition in the Wild. No artigo, adestramos modelos con conxuntos de datos máis grandes doutros idiomas e utilizamos os seus parámetros para axustar outro modelo para o LSE_Lex40: “Isolated Sign Language Recognition with Multi-Scale Spatial-Temporal Graph Convolutional Networks“.