En un mundo donde la tecnología de reconocimiento de voz se expande rápidamente, emergen paralelamente preocupaciones sobre su seguridad. Investigadores de la Universidad de Cambridge han encontrado una forma sorprendentemente simple de manipular modelos de reconocimiento de voz avanzados, como Whisper de OpenAI. Esta investigación introduce un concepto llamado “ataque acústico adversarial universal”, donde al añadir un pequeño segmento acústico al inicio de una señal de voz, es posible modificar el comportamiento del modelo, obligándolo a realizar tareas distintas a las establecidas. En particular, tal inserción puede hacer que Whisper ejecute traducciones de voz en lugar de transcribirla, su función original predeterminada.
Los modelos multi-tarea como Whisper están diseñados para realizar varias tareas de procesamiento de voz, que incluyen transcripción y traducción. Estas capacidades las hacen versátiles, pero al mismo tiempo abren una caja de Pandora. La amenaza que representan estos ataques es palpable: a pesar de ser configurado para una tarea, el modelo puede ser manipulado para llevar a cabo otra tarea deseada por el adversario. Este descubrimiento es más que una simple curiosidad académica, ya que pone de relieve vulnerabilidades críticas en los modelos de reconocimiento de voz multi-tarea actualmente en uso.
El enfoque de los investigadores se basa en una segmentación acústica universal de aproximadamente cinco segundos que puede engancharse al inicio de cualquier señal de voz y, mágicamente, redireccionar las funciones del modelo. Los experimentos se desplegaron usando el conocido modelo Whisper en ocho idiomas distintos, mostrando una elevada tasa de éxito en la manipulación del modo de operación del modelo.
Uno de los aspectos más impresionantes de estos ataques es su binariedad en los resultados. El modelo, tras ser manipulado, opera absolutamente en modo de traducción, o sigue en su estado original de transcripción, sin estados intermedios. Esta característica de probabilidad binomial indica que el ataque no genera una mezcla de operaciones, sino un cambio claro y definido entre los dos modos de funcionamiento.
Este tipo de vulnerabilidad abre las puertas a un sinfín de posibilidades adversarias en el ámbito digital y plantea serias preguntas sobre la infraestructura de seguridad de los asistentes de voz y otros sistemas análogos en uso. La capacidad de alterar un sistema tan sofisticado con un método tan simple convierte esta investigación en una llamada de atención para los desarrolladores y responsables de estos sistemas, destacando la imperiosa necesidad de fortalecer las medidas de seguridad antes de continuar su implementación masiva.