ChatGPT clonó voces humanas sin permiso: ¿Qué ocurrió?

La semana pasada, OpenAI publicó el “scorecard” de GPT-4o, un informe que describe las principales áreas de riesgo del último modelo de lenguaje de la empresa. El documento detalla los problemas encontrados y las medidas que OpenAI está tomando para mitigarlos.

En una de las revelaciones más inquietantes, OpenAI descubrió que el Modo de Voz Avanzado del modelo, que permite a los usuarios hablar con ChatGPT, imita las voces de los usuarios sin su permiso. Esto se observó durante las pruebas, donde el modelo a veces generaba una salida que emulaba la voz del usuario de manera inesperada.

De acuerdo con Ars Techcnica, ChatGPT cambia repentinamente a una imitación casi exacta de la voz del usuario tras gritar “¡No!” sin razón aparente. Este tipo de brecha de consentimiento se asemeja a los escenarios de películas de ciencia ficción de terror.

Lo Curioso

Estas son las razones por las que México podría involucrarse en una guerra mundial, según ChatGPT

¿Por qué sería peligroso?

En su “system card”, OpenAI explica que el modelo tiene la capacidad de crear “audio con una voz sintética similar a la humana”. Este poder puede facilitar daños como el aumento del fraude debido a la suplantación de identidad y la propagación de información falsa.

GPT-4o no solo puede imitar voces, sino también generar “vocalizaciones no verbales” como efectos de sonido y música. Al captar ruidos en las entradas del usuario, ChatGPT podría engañarse al clonar la voz del usuario, similar a los ataques de inyección de prompts.

¿Cómo puede resolverse este problema?

Afortunadamente, OpenAI ha encontrado que el riesgo de replicación involuntaria de voces es “mínimo”. La empresa ha tomado medidas para evitar la generación no deseada de voces al limitar las voces a las creadas en colaboración con actores de voz.

Simon Willison, investigador en IA, comentó que es poco probable que se pueda engañar al modelo para usar una voz no aprobada debido a la robusta protección contra ataques de fuerza bruta implementada por OpenAI.

El investigador Willison también expresó su frustración por las restricciones del modelo, mencionando que estaba deseando que el modelo cantara canciones divertidas para su perro. A pesar de los desafíos, OpenAI está trabajando para mejorar la seguridad y funcionalidad del GPT-4o.

Te puede interesar: ChatGPT y otras IA tienen consciencia, según la mayoría de usuarios, sugiere estudio