Projects

 

Description

El proyecto MedPer_DC incide en la detección precoz del deterioro cognitivo y participan once equipos de investigación de España, coordinados por el Instituto de Investigación Biomédica de Salamanca. Su objetivo es la integración de datos clínicos, moleculares, proteómicas, genómicos, asistenciales sociales, ambientales y de conducta utilizando técnicas de inteligencia artificial avanzadas de procesamiento y análisis de datos. La idea es generar modelos predictivos para detección preclínica de deterioro cognitivo en una población objetivo de personas de 55 a 70 años reclutados en siete centros de salud de seis comunidades autónomas. El trabajo del equipo de la UVigo se centra en el diseño de algoritmos de  IA para la detección de deterioro cognitivo leve a partir del procesado de voz, por ejemplo, a través de los aspectos acústicos y del lenguaje. Este proyecto está concedido en la convocatoria del Ministerio de Ciencia e Innovación de Proyectos de Investigación de Medicina Personalizada de Precisión de la Acción Estratégica en Salud 2021-2023, bajo el PERTE para la Salud de Vanguardia y con cargo a los fondos europeos del Plan de Recuperación, Transformación y Resiliencia.

---

 

Description

Este proxecto é a continuación do proxecto Speech&Signs para levar a unha proba de concepto a tecnoloxía de recoñecemento automático de lingua de signos desenvolta previamente. A proba farase no dominio acoutado das urxencias hospitalarias, concretamente no Hospital Alvaro Cunqueiro de Vigo e será testado pola empresa BALIDEA. O obxectivo final é que se valide se a tecnoloxía está lista para resolver, por exemplo, o problema de atender de forma semi-automática a unha persoa xorda que utiliza a lingua de signos española, cando chega ao servizo de urxencias mentres non hai dispoñible unha persoa intérprete.

---

 

Description

El proyecto Visia se centra en la detección precoz de riesgo de suicidio en adolescentes. Se aplican técnicas combinadas de IA y aprendizaje automático para desarrollar un asistente conversacional inteligente, capaz de operar en diferentes dispositivos (como altavoces inteligentes o móviles, entre otros), que utilice información tomada de diferentes fuentes para recoger el estado emocional de la persona adolescente (expresiones, posts en RRSS, o indicadores biológicos relacionados con las emociones). Aúna esfuerzos de docentes de atlanTTic y de un equipo del ámbito asistencial, el grupo de Neurociencia Traslacional del Instituto de Investigación en Salud Galicia Sur.

Este proyecto está financiado por la convocatoria 2021 de proyectos estratégicos orientados a la transición ecológica y a la transición digital, del plan estatal de investigación científica, técnica y de innovación 2021-2023, en el marco del plan de recuperación, transformación y resiliencia, con finalización prevista a 31 de octubre de 2024.

---

 

Description

O proxecto TRAIN-SITI profunda no desenvolvemento de sistemas para a tradución de lingua de signos española a castelán utilizando técnicas de deep learning que permitan adestrar modelos a partir de bases de datos pequenas. Para iso recolleranse datasets de linguas de signos en castelán e aproveitaranse algunhas máis grandes noutros idiomas de tal maneira que os sistemas poidan aprender a mecánica común das linguas de signos de diferentes idiomas, determinada principalmente pola cinemática corporal, e especializarse mediante técnicas de transfer learning,  few-shot learning e meta-learning na tarefa específica de aprender lingua de signos española. Este proxecto é parte dun proxecto coordinado, denominado TRAIN (Tradución para a Inclusión) no que colaboramos con expertos en machine translation da UPV e o BSC.

---

 

Description

É un proxecto de ciencia cidadá financiado pola Fundación Española para a Ciencia e a Tecnoloxía (FECYT) dependente do Ministerio de Ciencia e Innovación que pretende crear o primeiro dicionario de termos médicos e de saúde accesible en lingua de signos española (LSE), coa participación da cidadanía mentres aprende sobre tecnoloxía TIC e IA.

Goals

Técnico: Proporcionar unha aplicación web e móbil para consulta e aprendizaxe de termos de saúde en LSE, cun vocabulario ampliable segundo a participación cidadá, e cunha eficacia de recoñecemento automático aceptable para o seu uso.

Técnico-divulgativo: conseguir unha comunidade crecente de persoas xordas, intérpretes e asociacións que graven signos, visualicen recursos educativos e participen en estudos científicos específicos a través da aplicación SignaMed.

Divulgativo: Creación de vídeos divulgativos en español e en LSE e xeración dunha web interactiva que sirva de referencia á comunidade xorda en cuestións TIC e IA tomando como referencia o propio proxecto de creación dun dicionario accesible en LSE.

Activities

Pílulas divulgativas en LSE

Baixo este signo verás algúns vídeos en LSE relacionados con información técnica da aplicación SignaMed e con información sobre o papel das Tecnoloxías da Información e as Comunicacións (TICs) e a Intelixencia Artificial (IA) na resolución do problema de traducir a LSE a Español.

Explicacións da tecnoloxía

Baixo este signo contarémosche de forma resumida a tecnoloxía que hai detrás de SignaMed con ligazóns a algúns artigos de investigación para ampliar información.

Informes de estudos colaborativos

Baixo este signo verás os informes finais sobre os estudos que imos realizar grazas á participación cidadá no proxecto SignaMed. Esperamos que che resulten interesantes.

---

 

Description

Ayuda concedida al amparo de la resolución del 3 de diciembre de 2021 por la que se conceden las ayudas del programa Conecta COVID para proyectos de I+D+i relacionados con la COVID-19 que favorezcan la recuperación y la transición digital de las pymes gallegas, cofinanciadas por el Fondo Europeo de Desarrollo Regional (FEDER) de la Unión Europea dentro del programa operativo FEDER Galicia 2014-2020 (código de procedimiento IN852D 2021/20). Las ayudas se han concedido como parte de la respuesta de la Unión Europea a la pandemia de COVID-19. Subvencionado por la Axencia Galega de Innovación. Financiado con cargo a fondos FEDER. El proyecto ha sido apoyado por la Vicepresidencia Segunda e Consellería de Economía, Empresa e Innovación

El proyecto COPERIA  está orientado al desarrollo y validación clínica de una plataforma multidisciplinar e integral y basada en inteligencia artificial para el diagnóstico, empoderamiento, rehabilitación holística y personalizada, así como la gestión clínica de pacientes afectados por COVID Persistente.

El consorcio del proyecto COPERIA está formado por Bahía Software S.L.U. , 10 METS S.L., imaxin|software, la Fundación Biomédica Galicia Sur y, por parte de la Universidade de Vigo el Grupo de Tecnologías Multimedia (GTM)  y el Laboratorio de Informática Aplicada (LIA2).

Avance del proyecto a julio de 2022

 

---

 

Description

En este proyecto nos proponemos realizar un agente conversacional (tambien denominado chatbot por voz o simplemente chatbot) feminista orientado al diagnóstico del deterioro cognitivo leve mediante el análisis de conversaciones del chatbot con pacientes. Entre los fines estarán, por un lado, la definición de una guía de buenas prácticas en el diseño de chatbots por voz para tareas en las que la interacción se realiza con personas con deterioro cognitivo leve. Y por otro, que el diseño del chatbot se realizará de tal forma que evite los sesgos de género.

---

---

 

Description

ELE, in collaboration with its sister project the European Language Grid (ELG), will begin on the 1st January 2021 and aims to aid the development of a strategic research, innovation and deployment agenda to achieve digital language equality in Europe by 2030. ELE and ELG are aligned so that both will run for 18 months culminating with a joint event in June 2022, the META-FORUM 2022. 

The wider consortium comprises five core partners (DCU, DFKI Berlin, Charles University Prague, ILSP Athens,  and the University of the Basque Country, Donostia), Language Technology Expertise from  9 networks, associations and initiatives, 9 companies and 30 research organisations.  Together this consortium of 53 partners from all over Europe will drive the strategic research,innovation and deployment agenda to achieve digital language equality in Europe by 2030. 

A number of consultation events, round tables and  stakeholder meetings are planned during the 18-month project, and will ensure close collaboration with ELG. Research partners will produce updates on the 32 META-NET White Papers, detailing the situation regarding the 77 languages of the project. Each network initiative will produce a report in which they collect, consolidate and present their own vision, and companies will produce various technical deep dives for the different technology areas.

---

 

Description

Este proyecto profundizará en la investigación y el desarrollo de técnicas que permitan allanar el camino hacia una plena comprensión y explotación de los canales de comunicación verbal y no verbal que utilizan la expresión facial, el lenguaje corporal y la expresividad de las manos como sus fuentes de señales. El equipo está formado por miembros del GTM y una persona del grupo UVIGO GRADES (Gramática, Discurso y Sociedad).

La comunicación no verbal es un área interdisciplinaria en la que lingüistas, psicólogos, antropólogos, sociólogos y neurocientíficos desarrollaron una plétora de teorías. Puede definirse como la transferencia e intercambio de mensajes en todas y cada una de las modalidades que no implican palabras. Las modalidades son tan diversas como las expresiones faciales, los gestos y los movimientos corporales, las locuciones no verbales, el comportamiento en el espacio interpersonal e incluso la fisonomía (cara, cuerpo, ropa). Las lenguas de signos se basan principalmente en los gestos de las manos y otras partes del cuerpo, y tienen una gramática visual, por lo que muchas de las técnicas desarrolladas para las aplicaciones de reconocimiento de gestos y del habla se han aprovechado para el reconocimiento de la lengua de signos (RLS). Sin embargo, las expresiones faciales y los movimientos corporales, siendo cruciales para el RLS, no han recibido aún la atención merecida en este escenario.

Por lo tanto, el objetivo global del proyecto es desarrollar nuevos algoritmos, sistemas y conjuntos de datos, basados en el procesamiento del habla y del vídeo, y en técnicas de aprendizaje automático, para extraer información multimodal que permita decodificar los canales de comunicación verbal y no verbal de las lenguas orales y de signos.

Goals

This project pursuits several goals with different R/D/I scope and time horizon for their achievement:

1. Developing facial expression recognition techniques beyond the 6 basic expressions of emotion: compound emotions and communicative non-emotional facial expressions (short-term objective).
2. Design and development of hand-sign recognition algorithms on static images and dynamic video streams (short-term objective).
3. Building a progressively large dataset for Spanish SL and annotation tools to be used within the ELAN package (short-term objective).
4. Design and development of a coding tool to translate trajectories of hands, arms, troncal and head, and facial expressions into linguistically interpretable information in Spanish SL and into prosodic modifiers for ASR (long-term objective).
5. Starting from outputs of Goal 1, design and development of audiovisual techniques for enhanced detection of emotional and linguistic cues useful for a richer closed-caption: questions, laughter, sadness, sobbing, dubitation, turn-taking, etc. (long-term objective).
6. Launching an international benchmarking contest on Spanish SL using the acquired dataset (short-term objective).

Activities

The following activities were planned to achieve the short-term objectives and move towards the long-term objectives. Should you want to delve into details, follow the links.

Activity 1: Understanding and describing nonverbal communication channels.

Activity 2: Compiling a dataset of Spanish SL

Activity 3: Developing facial expression recognition tools in communicative scenarios

Activity 4: Developing a hand-based signing recognition tool

Activity 5: Multimodal fusion and interpretation of nonverbal communication channels 

Activity 6: Result Dissemination

---

 

Description

In TraceThem, we will carry out research in algorithmic techniques of multimedia and multilingual search, working in real environments where current techniques fail in performance, generalisation and scalability. Apart from the traditional audiovisual contents (TV shows, news, movies, series...) new scenarios and types of contents have emerged in recent years (MOOCs, video blogs, tutorials...) where the automation of the search process for accessing the contents is a key aspect; processing these multimedia documents involves the added difficulty that, often, contents appear in different languages, representing a higher technological challenge, as tools adapted to different languages are needed, which is not always possible due to the lack of resources or tools to enable completely language independent content indexing. The information that we intend to extract is always within a communicative context (“from” someone and “for” someone), so the characterisation of the people involved in this context will play a central role. We will focus on finding information about people and their way of interacting (“who they are”, “what they say”, “how they communicate”, “how they are doing”), with a special interest in discovering people and content. The extraction of information related to people will be performed through audio processing, video processing and combined audio and video processing. To do this, we will focus on searching for technologies and new solutions for: multimedia content analysis, voice and face biometrics, audio segmentation and speaker diarization, detection of the emotional state and detection of people interacting. Content extraction will be primarily performed by processing audio using both language-dependent and language-independent search on speech. The scientific-technical impact and dissemination of project results will be favored by participation in international competitive evaluations related to the described issue, as these are important in the development of this project activity because they allow to use data sets related with tasks that constitute the current technological challenges. Moreover, in these competitions, common experimental frameworks are set up to enhance collaboration with other research groups and to allow comparisons of different algorithms, helping to discover the strengths and weaknesses of algorithms and developed systems.

These are  two video demo of our research on  "Semantic Indexing and Searching in Multimedia Contents" that are related to the TraceThem activities:

• https://www.youtube.com/watch?v=LJxQKF8Fl4E
• https://www.youtube.com/watch?v=hdJgmFxJFrM

---

 

Description

The main objective of the project LifeDemoWave is the demonstration of the feasibility of the use of wave power for electric generation in order to reduce greenhouse gases’ emissions. Thus, according to the regulation LIFE 2014-2020 Regulation (EC) No 1293/2013 the specific objective (d) stablished in article 14 would be reached. Thus, it will contribute to the development and demonstration that the use of other technologies such as wave power helps to mitigate the climate change with easily repeatable equipment. This project wants to raise awareness in society, proving that this is a via to reach clean energy, one of the biggest barriers nowadays. Additionally, this goal is in accordance with the policies stablished by the EU, which stablished guides for an European strategy for sustainable, competitive and safe energy through the Green Paper (8th of March of 2006). Furthermore, the Directive 2009/28/CE stablished that in 2020, 20% of the EU energy consumption has to come from renewable sources, although this value was only up to 14% in the EU. On the 20th January 2014 it was presented an action plan named «The blue energy», highlighting the support to wave power and tidal power as one of the priority areas in the EU to mitigate climate change, being wave power the solution proposed in LifeDemoWave. The final objective of this project is to help the implementation of these policies and support the adaptation of the applicable legislation in order to adopt these technologies, achieving what was stablished in section (a), article 14. For demonstration purposes, two prototypes of wave power generation, 25kW each, will be installed in the Galician coast, (Galicia stands out for having up to 75kW per each meter of wave front) that will be reproducible and scalable at high level. Another objective is to quantify the reduction of the carbon footprint and the emission of pollutants (NOx, NMVOC, SO2, NH3, PM25…). The aim is to reach the set values in the performance indicators, thus, allowing to adjust to the EU environmental polices such as Directive (2008/50/EC), (2001/81/EC), (94/63/EC), etc.  The LifeDemoWave project will consider as well in its design and implementation, the environmental impact in the installation areas and its effect on biodiversity, trying to minimize as much as possible any of these effects and to quantify them explicitly.

---

 

Description

SpeechTech4All es un proyecto concedido por el Ministerio de Economía y Competitividad en la convocatoria de 2012 del Programa Nacional de Proyectos de Investigación Fundamental. El proyecto tiene una duración de tres años y en el participan las Universidades de Vigo, Politécnica de Cataluña y del País Vasco.  Carmen García Mateo, directora del Grupo de Tecnologías Multimedia del centro AtlantTIC de la Universidad de Vigo será la coordinadora del proyecto .

El proyecto está dedicado a la investigación avanzada en las principales tecnologías del habla (reconocimiento de voz, traducción automática, conversión de texto a voz) en todas las lenguas oficiales habladas en España, al reconocimiento del estado emocional del hablante, y a la construcción de marcos experimentales multimodales (voz y facial) y multilingües (castellano, gallego, catalán, y euskara) que permitan mostrar el trabajo realizado.

Como resultado del proyecto se obtendrán avances de investigación en cada una de las tecnologías mencionadas. Algunos ejemplos de estos avances son la búsqueda de la universalización del servicio de personalización de voces sintéticas, el desarrollo de técnicas de adaptación al dominio en traducción automática, o el desarrollo de sistemas de detección del estado del hablante mediante procesado conjunto de voz y cara. Se prevé que el proyecto participe en campañas de evaluación competitiva, entre ellas las organizadas por la Red Temática en Tecnologías del Habla, y por Interspeech.

 Con el fin de dar visibilidad a los avances logrados en todas las tecnologías, así como de ilustrar el marcado carácter social que se pretende dar al proyecto, se definen dos demostradores:

 1) El primero, que integra la mayor parte de las tecnologías trabajadas, consiste en el subtitulado multilingüe de material audiovisual relacionado con el campo de la educación: documentales, ponencias, seminarios...

 2) El segundo va dirigido a una de las aplicaciones genuinas de las tecnologías del habla, como es dotar de voz a personas que por diferentes motivos presentan un nivel severo de discapacidad oral, usando un sintetizador que se adapte a las características específicas de dicha persona.

---

---

 

Description

META, the Multilingual Europe Technology Alliance, brings together researchers, commercial technology providers, private and corporate language technology users, language professionals and other information society stakeholders. META will prepare an ambitious, joint international effort towards furthering Language Technology as a means towards realising the vision of a Europe united as one single digital market and information space.

---