Una pareja de actores de doblaje de Estados Unidos escuchaba un podcast cuando iban a bordo de su automóvil. Paul Skye Lehrman reconoció de inmediato su voz pero no sus palabras: en el programa, se escuchaba diciendo frases que nunca había pronunciado.

Irónicamente, el programa hablaba sobre el impacto de la Inteligencia Artificial (IA) en el trabajo de escritores, actores y profesionales del entretenimiento.

Al poco tiempo, Linnea Sage también descubrió un video de YouTube en el que su voz se usaba para explicar la guerra en Ucrania. Sabía que era su voz pero no era ella.

Hoy, ambos actores de doblaje están demandando a la empresa Lovo por robar su voz y utilizarla para entrenar modelos de IA Generativa, con los cuales han producido contenidos de audio sin su consentimiento.

La pareja contó a The New York Times que años atrás, entre 2019 y 2020, fueron contratados por Lovo para grabar algunos clips de voz que se emplearían con fines académicos y de investigación en el caso de Lehrman, y como pruebas de radio en el caso de Sage.

Te recomendamos: IA vs. medios: el NYT demanda a OpenAI y Microsoft por violar derechos de autor

Y aunque nunca les explicaron exactamente para qué serían usadas sus voces, no indicaron a los actores de doblaje que serviría para entrenar modelos de IA y producir nuevos contenidos.

La demanda, presentada ante un tribunal federal de Manhattan, acusa a Lovo de violar la ley federal de marcas y varias leyes estatales de privacidad al promover copias de sus voces sin su autorización.

En el sitio web de la compañía, se proporcionan clones de las voces de los actores de doblaje, que ya han sido descargados y utilizados por clientes de Lovo. Se desconoce cuántas compañías ya las han usado.

Incluso, la pareja cree que Lovo ha utilizado sus voces para entrenar los modelos de IA que posibilitan la clonación de voces, de la misma manera que ChatGPT se alimenta de miles de millones de fuentes para producir textos.

La compañía de IA Generativa reconoció haber empleado miles de horas de grabaciones de voz para entrenar su tecnología, supuestamente extraídas de una base de datos abierta. Pero no afirmó ni descartó el uso de las voces de Lehrman y Sage.

David Case, abogado que representa a Lovo, negó las acusaciones contra la compañía y dijo que no había problema porque todas las personas que proporcionaron grabaciones de voz dieron su consentimiento.

También lee: Actores de Hollywood entran en huelga: piden protección frente a la Inteligencia Artificial

Incluso, en un podcast difundido en 2023, Tom Lee, director ejecutivo de Lovo, dijo que la empresa ofrecía un programa de reparto de ingresos a los actores que prestaban sus voces para crear los clones de voz. Sin embargo, Paul Skye Lehrman y Linnea Sage nunca recibieron una retribución de ingresos ni tenían conocimiento de esta actividad.

Los actores de doblaje dijeron que seguirán adelante con su demanda, e inclusive buscan impulsar una demanda colectiva, por lo que están invitando a otros colegas afectados a unirse a su causa.

“Esperamos recuperar el control sobre nuestras voces, sobre quiénes somos, sobre nuestras carreras (…). Queremos representar a otros a quienes les ha sucedido esto y a aquellos a quienes les sucederá si nada cambia”, afirmó Lehrman.

No es la primera vez que artistas, actores y actrices promueven demandas contra empresas de IA Generativa, acusando que roban su trabajo para entrenar sistemas de Inteligencia Artificial.

En 2023, 8 mil escritores exigieron a las empresas de tecnología el pago por el uso de sus obras en el entrenamiento de herramientas de IA. También, ese mismo año, la comediante Sarah Silverman y los escritores Richard Kadrey y Christopher Golden denunciaron a OpenAI y Meta por violar sus derechos de autor.

Europa Press

El acuerdo alcanzado por el Gobierno con Esquerra Republicana para la futura ley audiovisual reservará un mínimo anual de 15 millones de euros para la producción de películas y series en catalán y la creación de un fondo público que asegure el doblaje al catalán de series de plataformas internacionales, según los detalles avanzados por ERC.

Leer más: https://www.europapress.es/nacional/noticia-ley-audiovisual-reservara-cada-ano-15-millones-series-catalan-creara-fondo-costear-doblajes-20211215134945.html

Hipertextual-José María López

No entraremos en el debate de si es mejor ver una película o serie en versión original con subtítulos o doblada a otro idioma. Ambas opciones son respetables y complementarias, y los profesionales del doblaje no lo tienen fácil para cuadrar un texto en un idioma a unos actores que pronuncian otras palabras.

Precisamente, cuadrar la voz del doblaje con la imagen a doblar requiere de mucha pericia. De ahí que en ocasiones los guiones originales difieran de su traducción para que una palabra encaje con la boca del actor. Sin embargo, esto puede cambiar si empezamos a usar la tecnología disponible.

Y si hablamos de mover los labios en un vídeo, puede que te venga a la mente el concepto de deepfake. Por si no estás familiarizado, un deepfake es un vídeo manipulado de un famoso o político en el que éste dice algo que nunca dijo. Es decir, editas un vídeo cambiando sus palabras y el movimiento de sus labios. Según el software empleado, el resultado es prácticamente imperceptible.

Así pues, si usamos la tecnología ya disponible de edición de vídeo para crear deepfakes para un uso más ético y menos tóxico como es el doblaje de series o películas, el resultado será que podamos disfrutar de la ficción de cualquier país e idioma en nuestra propia lengua.

La inteligencia artificial en el doblaje

Obviamente, cuando hablamos de tecnología de manipulación de imágenes, es inevitable que surja el concepto de inteligencia artificial. Gracias a este campo tecnológico hemos sido capaces de avanzar rápidamente en el procesamiento de datos, imágenes y, ahora, de vídeos. Todo ello con ayuda de computadoras, software y los algoritmos adecuados. Sin presupuestos desorbitados como pudiera ocurrir en el pasado.

De software para crear deepfakes lo hay en abundancia y de lo más variado. En este artículo comenté varios de ellos, gratuitos y disponibles para smartphones y ordenadores personales.

Y desde India nos llega otra herramienta para la manipulación de vídeos empleando inteligencia artificial. Sus responsables son Prajwal Renukanand y el International Institute of Information Technology (Instituto Internacional de Tecnología de la Información), o más concretamente el Centre for Visual Information Technology que depende de éste. El propósito de su software: traducir vídeos en los que habla una persona.

La investigación que ha dado pie a este software está disponible para consultar libremente en inglés. En su página oficial se explica en qué consiste, qué hace y cómo lo hace. A partir de un vídeo cualquiera, la herramienta traduce el audio y, además, manipula la imagen para que no se note el cambio de idioma al hablar. Sincronización de labios de manera automatizada.

En el proyecto se ha trabajado con vídeos en inglés para traducirlos al hindi, pero se puede aplicar a cualquier otro idioma y tipo de vídeo. Las posibilidades son infinitas, como traducir programas informativos o documentales, eventos deportivos o, el ejemplo más claro, ficciones audiovisuales como series y películas.

Un proceso complejo que parece fácil

En el futuro, cuando este software esté implementado y disponible al público, el proceso será tan simple como pasar el vídeo y dejar que sus algoritmos realicen el trabajo duro. Pero como explican sus responsables, el proceso es más complicado de lo que vemos en pantalla.

Tal y como podemos ver en su página oficial, donde también está disponible el paper correspondiente, la traducción del vídeo consta de tres partes. La sincronización va aparte.

Primero, el software reconoce el idioma que debe traducir empleando DeepSpeech (para audios en inglés) y la API de Google para otros idiomas. La API de Google es conocida. Por su parte, DeepSpeech es una tecnología de reconocimiento que traduce audios a texto. Es de código abierto y emplea machine learning. Además, para facilitar su implementación emplea Google TensorFlow.

Una vez reconocido el texto hablado, la segunda fase consiste en traducirlo a otros idiomas. En el experimento se tradujo un texto en inglés a siete idiomas hablados en India.

Y el tercer paso consiste en convertir de nuevo el texto traducido a audio. Para ello emplean DeepVoice para idiomas indios y Tacotron para inglés. Tacotron es un sistema de sintetizado de voz que convierte texto en audio y que es propiedad de Google.

En la práctica, se trata de combinar distintas tecnologías abiertas de reconocimiento de voz, traducción y sintentizado de voz para obtener una traducción de audio en condiciones. A partir de aquí, entra la parte de vídeo, es decir, adaptar el rostro de quien habla para que se adapte al nuevo audio sin que se note la manipulación del vídeo.

Y para este fin, los responsables de esta investigación han empleado LipGAN, su propio software de edición de vídeo especializada en traducir de manera automática los movimientos de los labios y las expresiones faciales. Lo mejor de todo es que el software está disponible con licencia abierta en su propio repositorio de GitHub.

Así, a partir de un fragmento de vídeo en el que una persona habla, LipGAN puede generar un vídeo equivalente adaptado al audio que hemos obtenido con las herramienta que mencioné antes.

Un futuro prometedor

El paper de nueve páginas de esta investigación explica algunas de las ventajas de aplicar machine learning. Esta rama de la inteligencia artificial hace posible que el propio software sea el encargado de discriminar los resultados poco satisfactorios. Además, hay que tener en cuenta la complejidad de sincronizar audio y vídeo, algo imposible hasta hace poco.

Aunque los resultados son satisfactorios, todavía queda trabajo por hacer. En cualquier caso, el software ahí está, a disponibilidad de quien quiera usarlo. Y como indican sus responsables, su utilidad es variada, tanto para el doblaje de películas como para crear material educativo en varios idiomas o para adaptar contenido televisivo como noticias o entrevistas.

En la actualidad encontramos, por separado o combinadas, tecnologías que permiten traducir texto. También transcribir audio a texto o generar audio a partir de un texto. El siguiente paso consiste en integrar ese audio en un vídeo. Era algo que tenía que llegar tarde o temprano. Y con LipGAN parece que ya hemos llegado a esa fase en la que el idioma hablado en un vídeo no tiene por qué ser un impedimento para que cualquiera pueda entenderlo sin necesidad de subtítulos.