Noticias

Aug 31, 2023

¿Qué son los deepfakes? Cómo detectar audio y vídeo falsos de IA

Las computadoras han mejorado cada vez más en la simulación de la realidad. Los medios generados por inteligencia artificial (IA) han aparecido en titulares importantes, especialmente vídeos diseñados para imitar a alguien.

Las computadoras han mejorado cada vez más en la simulación de la realidad. Los medios generados por inteligencia artificial (IA) han aparecido en titulares serios, especialmente videos diseñados para imitar a alguien, haciendo que parezca que está diciendo o haciendo algo que no es.

Un transmisor de Twitch fue atrapado en un sitio web conocido por crear pornografía de sus compañeros generada por IA. Un grupo de estudiantes de Nueva York hizo un video de su director diciendo comentarios racistas y amenazando a los estudiantes. En Venezuela, los videos generados se están utilizando para difundir propaganda política.

En los tres casos, el vídeo generado por IA se creó con el objetivo de convencerle de que alguien hizo algo que en realidad nunca hizo. Hay una palabra para este tipo de contenido: Deepfakes.

Los deepfakes utilizan IA para generar vídeo o audio completamente nuevo, con el objetivo final de retratar algo que en realidad no ocurrió en la realidad.

El término "deepfake" proviene de la tecnología subyacente (algoritmos de aprendizaje profundo) que aprenden a resolver problemas con grandes conjuntos de datos y pueden usarse para crear contenido falso de personas reales.

"Un deepfake sería un metraje generado por una computadora que ha sido entrenada a través de innumerables imágenes existentes", dijo Cristina López, analista senior de Graphika, una firma que investiga el flujo de información a través de redes digitales.

Los deepfakes no son simplemente imágenes falsas o engañosas. El Papa con una chaqueta acolchada generada por IA, o las escenas falsas del arresto de Donald Trump que circularon poco antes de su acusación, están generadas por IA, pero no son deepfakes. (Imágenes como estas, cuando se combinan con información engañosa, se denominan comúnmente "falsificaciones superficiales"). Lo que separa a un deepfake es el elemento de la aportación humana.

Cuando se trata de deepfakes, el usuario sólo puede decidir al final del proceso de generación si lo que se creó es lo que quiere o no; Aparte de adaptar los datos de entrenamiento y decir "sí" o "no" a lo que la computadora genera después del hecho, no tienen nada que decir sobre cómo la computadora elige hacerlo.

Nota: Las tecnologías asistidas por computadora como Photoshop y CGI se usan comúnmente para crear medios, pero la diferencia es que los humanos participan en cada paso del proceso, salvo desarrollos recientes como la herramienta generativa Firefly de Adobe. "Tienes mucha asistencia de IA con CGI, pero al final del día hay un humano con un punto de vista humano que controla cuál será el resultado", dijo López.

Existen varios métodos para crear deepfakes, pero el más común se basa en el uso de redes neuronales profundas que emplean una técnica de intercambio de caras. Primero necesitas un vídeo de destino para utilizarlo como base del deepfake y luego una colección de videoclips de la persona que quieres insertar en el objetivo.

Los vídeos pueden no tener ninguna relación; el objetivo podría ser un clip de una película de Hollywood, por ejemplo, y los vídeos de la persona que desea insertar en la película podrían ser clips aleatorios descargados de YouTube.

El programa adivina cómo se ve una persona desde múltiples ángulos y condiciones, luego mapea a esa persona con la otra persona en el video de destino al encontrar características comunes.

Se agrega a la mezcla otro tipo de aprendizaje automático, conocido como Redes Generativas Adversariales (GAN), que detecta y mejora cualquier falla en el deepfake en múltiples rondas, lo que dificulta que los detectores de deepfake los decodifiquen.

Aunque el proceso es complejo, el software es bastante accesible. Varias aplicaciones facilitan la generación de deepfakes incluso para principiantes, como la aplicación china Zao, DeepFace Lab, FakeApp y Face Swap, y se puede encontrar una gran cantidad de software de deepfake en GitHub, una comunidad de desarrollo de código abierto.

Históricamente, la tecnología deepfake se ha utilizado con fines ilícitos, incluso para generar pornografía no consentida. El FBI publicó un anuncio de servicio público en junio de 2023 advirtiendo al público sobre los peligros de la IA generativa y cómo se utiliza para la "creación de contenido explícito", la "sextorsión" y el "acoso".

En 2017, un usuario de Reddit llamado "deepfakes" creó un foro de pornografía que presentaba actores con rostros intercambiados. Desde entonces, la pornografía (particularmente la pornografía de venganza) ha sido noticia repetidamente, dañando gravemente la reputación de celebridades y figuras prominentes. Según un informe de Deeptrace, la pornografía representó el 96% de los videos deepfake encontrados en línea en 2019.

Los deepfakes también se han utilizado para actividades delictivas no sexuales, incluido un caso en 2023 que implicó el uso de tecnología deepfake para imitar la voz del hijo de una mujer para amenazarla y extorsionarla.

Los vídeos deepfake también se han utilizado en política. En 2018, por ejemplo, un partido político belga publicó un vídeo de Donald Trump pronunciando un discurso en el que pedía a Bélgica que se retirara del acuerdo climático de París. Sin embargo, Trump nunca pronunció ese discurso: fue un deepfake. Ese no fue el primer uso de un deepfake para crear videos engañosos, y los expertos políticos expertos en tecnología se están preparando para una futura ola de noticias falsas que presenten deepfakes convincentemente realistas.

Pero periodistas, grupos de derechos humanos y tecnólogos de los medios también han encontrado usos positivos para esta tecnología. Por ejemplo, el documental de HBO de 2020 "Bienvenidos a Chechenia" utilizó tecnología deepfake para ocultar las identidades de refugiados LGBTQ rusos cuyas vidas estaban en riesgo y al mismo tiempo contaba sus historias.

WITNESS, una organización centrada en el uso de los medios para defender los derechos humanos, ha expresado optimismo sobre la tecnología cuando se utiliza de esta manera, al tiempo que reconoce las amenazas digitales.

"Parte de nuestro trabajo es realmente explorar el uso positivo de esa tecnología, desde proteger a personas como activistas en video, hasta adoptar enfoques de defensa y hacer sátira política", dijo shirin anlen, tecnóloga de medios de WITNESS.

Para anlen y WITNESS, la tecnología no es algo que deba temer del todo. Más bien, debería verse como una herramienta. "Se está construyendo sobre una relación a largo plazo que hemos tenido con los audiovisuales. Ya hemos estado manipulando el audio. Ya hemos estado manipulando imágenes de diferentes maneras", dijo Anlen.

Expertos como Anlen y López creen que el mejor enfoque que el público puede adoptar ante los deepfakes es no entrar en pánico, sino estar informado sobre la tecnología y sus capacidades.

Hay varios indicadores que delatan deepfakes:

A medida que la tecnología mejora, las discrepancias entre el contenido real y el falso probablemente serán más difíciles de detectar. Por esa razón, expertos como anlen creen que la carga de detectar deepfakes en la naturaleza no debería recaer en los individuos.

"La responsabilidad debería recaer en los desarrolladores, en los fabricantes de herramientas, en las empresas de tecnología para desarrollar marcas de agua invisibles y señalar cuál es la fuente de esa imagen", dijo anlen. Y varias empresas emergentes están desarrollando métodos para detectar deepfakes.

Sensity, por ejemplo, ha desarrollado una plataforma de detección similar a un antivirus para deepfakes que alerta a los usuarios por correo electrónico cuando están viendo algo que lleva huellas dactilares reveladoras de medios generados por IA. Sensity utiliza los mismos procesos de aprendizaje profundo que se utilizan para crear vídeos falsos.

La Operación Minerva adopta un enfoque más sencillo para detectar deepfakes. El algoritmo de esta empresa compara posibles deepfakes con vídeos conocidos que ya han sido "huellas dactilares digitales". Por ejemplo, puede detectar ejemplos de pornografía de venganza al reconocer que el video deepfake es simplemente una versión modificada de un video existente que la Operación Minerva ya ha catalogado.

A pesar de estos avances, Nasir Memon, profesor de ciencias informáticas e ingeniería en la Universidad de Nueva York, dijo que no ha habido ningún esfuerzo para combatir los deepfakes a escala, y que cualquier solución que llegue no será una panacea para detener los deepfakes dañinos. extensión.

"Creo que la solución en general no se basa en la tecnología, sino en la educación, la concientización, los modelos de negocios, los incentivos, las políticas y las leyes correctos", dijo Memon.

Nota:Varios estados han aprobado o intentado aprobar leyes que prohíben el uso de deepfakes en casos específicos, como pornografía o política, incluidos California, Nueva York y Virginia.

Un problema creciente es el uso de deepfakes en vivo para enmascarar la identidad en el momento, como durante una llamada telefónica o una reunión de Zoom. Según Memon, la amenaza de que alguien utilice una identidad falsa podría surgir en diversas situaciones, desde entrevistas de trabajo hasta exámenes universitarios remotos y solicitudes de visa. Incluso los periodistas de Insider han tenido que lidiar con estafas generadas por inteligencia artificial que se presentan como fuentes.

"El problema con la detección es que la carga recae sobre el defensor", dijo Memon. "Tengo que analizar cada imagen de todas las formas posibles. Pero en seguridad, lo mejor es hacerlo al revés". Idealmente, también se desarrollaría tecnología para detectar este tipo de deepfakes en vivo.

Aún así, Memon no espera que este tipo de enfoque sea el final de la cuestión de los deepfake.

"Nada va a resolver completamente el problema. La autenticidad siempre debe ser puesta a prueba en la sociedad", afirmó. "No saque conclusiones precipitadas cuando vea una imagen ahora. Mire la fuente. Espere hasta tener evidencia que lo corrobore de fuentes confiables".

Es posible que recibamos una comisión cuando compra a través de nuestros enlaces, pero nuestros informes y recomendaciones son siempre independientes y objetivos.