Explorando las posibilidades de la IA para el doblaje multilingüe de eventos académicos

Explorando las posibilidades de la IA para el doblaje multilingüe de eventos académicos

El 19 de diciembre de 2023, la CUED organizó un Encuentro Internacional de Cátedras UNESCO de Educación Abierta, Digital y a Distancia, con la participación de Cátedras UNESCO de España, Portugal, Francia, Inglaterra, Andorra, Sudáfrica, Líbano, México, Uruguay y Canadá, algunas de las cuales pertenecen, asimismo, a la red UNESCO-UNITWIN sobre educación abierta.

  • Cátedra UNESCO en eLearning. Daniel Burgos. Universidad de la Rioja. España
  • Cátedra UNESCO de Educación Digital Escalable para todos. Carlos Delgado Kloos. Universidad Carlos III. España.
  • Cátedra UNESCO de Educación a Distancia. Ángeles Sánchez-Elvira Paniagua. UNED. España.
  • Cátedra UNESCO de Educación y Tecnología para el Cambio Social. Albert Sangrá. UOC. España
  • Cátedra UNESCO de Inteligencia artificial y realidad extendida. Joaquím Jorge. Universidade do Lisboa. Portugal.
  • Cátedra UNESCO en innovación en aprendizaje informal en contextos desfavorecidos y en desarrollo. John Traxler. United Kingdom.
  • Cátedra UNESCO de Aprendizaje abierto y a distancia. Moeketsi Letseka. UNISA. South Africa.
  • Cátedra UNESCO en Recursos Educativos en Abierto (REA) para el acceso y el éxito. Fawzi Baroud. Notre Dame University. Lebanon.
  • Cátedra UNESCO de Educación Abierta y Justicia Social. Glenda Cox. UNISA. South Africa.
  • Cátedra UNESCO de Educación a Distancia. Tel Amiel. Universidade do Brasilia. Brasil.
  • Cátedra UNESCO/ICDE Movimiento de Educación Abierta para América Latina. Marisol Ramírez Montoya. TEC de Monterrey, México.
  • Cátedra UNESCO en Educación Abierta. Regina Motz. Universidad de la República. Uruguay.
  • Cátedra UNESCO de Tecnologías de la Información: formación y desarrollo solidario. El caso de los pequeños estados. Nadia Azzouz. Universitat d’Andorra. Principado de Andorra.
  • UNESCO/ICDE Chair in Open Educational Resources. Rory McGreal. Athabasca University. Canada.

La jornada contó, además, con la presencia y apoyo de UNESCO, a través de la participación de Keith Holmes (Research Coordinator, UNITWIN/UNESCO Chairs Programme), Francesc Pedró, Director de UNESCO IESALC, Zeynep Varoglu (Senior Programme Specialist, Communication and Information Sector, UNESCO) y Mark West (Project Officer, Future of Learning and Innovation, Education Sector, UNESCO).

El encuentro se desarrolló en formato híbrido (presencial y a través de la plataforma Webex para inscritos, así como en abierto por CanalUNED) con participaciones y mesas redondas en español e inglés con traducción simultánea, y transcripción multilingüe.

Los vídeos del encuentro, en español e inglés, se encuentran disponibles en CanalUNED.

A partir de los vídeos originales, hemos explorado las posibilidades de la IA para ofrecer un doblaje de las presentaciones con voz clonada (previa autorización). Las presentaciones en español han sido dobladas al inglés y las presentaciones en inglés al español.

Los vídeos originales y doblados (previa autorización) se encuentran disponibles en el Canal de YouTube de la CUED, pudiendo compararse el resultado final obtenido.

Lista de distribución (vídeos originales y doblados) del Encuentro de Cátedras UNESCO de EADD.

La aplicación de IA utilizada ha sido RASK.AI, gracias a la ayuda obtenida en la Convocatoria de Fortalecimiento de la Internacionalización 2023, del Vicerrectorado de Internacionalización y Multilingüismo de la UNED para la organización y desarrollo del evento.

La obtención de los vídeos doblados ha requerido el siguiente proceso con cada uno de los vídeos:

  • Subir el vídeo original a la aplicación.
  • Obtener la transcripción automática del audio en el idioma original y su traducción para poder trabajar con los textos. Estas transcripciones son , en general, buenas.
  • Revisar ambos textos con el vídeo original, ofreciendo la aplicación una edición fácil por segmentos de tiempo, así como mejoras y sugerencias en la traducción y su sincronización basadas en IA.
  • Generar el vídeo doblado y revisarlo, ofreciendo la aplicación la posibilidad de regrabar el mismo vídeo hasta conseguir el resultado más satisfactorio.

La utilización de la aplicación es sencilla y proporciona buenos resultados, en general. Las mayores dificultades han derivado de la sincronización debido a los tiempos de cada idioma, requiriendo diversos ajustes, así como, en algunos casos, la intervención del apoyo en línea proporcionado por la aplicación para solucionar algunos de estos problemas, observándose asimismo que la aplicación va incorporando mejoras.

La conclusión es que el uso de herramientas de IA para la generación de vídeos multilingües y, en su caso, el doblaje de voz en entornos académicos, puede ser una potente herramienta para la generación de contenidos más inclusivos y motivadores, rompiendo barreras lingüísticas, requiriendo por otro lado una revisión por parte de expertos que dominen los idiomas dobladospara la obtención de traducciones de calidad y precisas, así como mejoras técnicas en las propias aplicaciones, lo que, sin duda, se está produciendo. Asimismo, en el caso de la clonación de voz, se requiere considerar sus implicaciones legales y éticas contando, en primer lugar, con el permiso explícito de la persona cuya voz se va a clonar y proporcionando una descripción clara del uso previsto de la voz clonada, como se ha realizado en este caso.

El trabajo de doblaje realizado por Ángeles Sánchez-Elvira Paniagua, directora de la CUED y Mónica Vilhelm, contratada predoctoral de la CUED, será presentado junto con otras experiencias de uso de la IA para la generación de contenidos multilingües, en la próxima Innovative Higher Education,  IHE2024 Conference de EADTU que se celebrará en la ciudad de Limasol (Chipre) los días 23-25 de octubre.

Loading