Puede leer no solo en los labios durante una conversación, sino también en las manos que revolotean sobre el teclado. Así, mediante los movimientos de las manos que ven los atacantes durante la videollamada, es posible adivinar contraseñas y palabras de código escritas en un teclado QWERTY tradicional.
Los desarrolladores estadounidenses han creado un algoritmo especial capaz de leer los movimientos de los contornos de los hombros y brazos del usuario que está escribiendo en el teclado, analizarlos y compararlos con los caracteres ingresados. A continuación, la IA prepara una lista de letras y números probablemente escritos, lo que hace posible, por ejemplo, recuperar los caracteres escritos durante la autorización. Y todo esto, casi en tiempo real, durante una videoconferencia.
Hay una manera de determinar los caracteres escritos en el teclado por el sonido de las teclas presionadas. Esto requiere acceso a la PC de destino. Sin embargo, el método es inexacto, ya que el ruido natural interfiere en gran medida con la percepción y el análisis. Además, el criptoanálisis acústico no funciona para teclados con pulsaciones de teclas de baja amplitud.
El algoritmo, inventado por desarrolladores de la Universidad de Texas en San Antonio, tiene en cuenta la velocidad de escritura, el orden en el que se usan las manos, monitorea su movimiento y cuenta la cantidad probable de letras en una palabra. El arsenal de la aplicación incluye un diccionario de las palabras más populares utilizadas como contraseñas. Según los investigadores, la señal de video es menos propensa a la distorsión que el audio.
El algoritmo de análisis y decodificación de video funciona de la siguiente manera:
- .
- .
- .
- .
- : .
- .
- , .
Los investigadores probaron el algoritmo en varias condiciones.
En un caso, utilizaron un diccionario de 65 mil de las palabras más populares y dieron las 50 más probables en una selección. La precisión dependía de las plataformas web utilizadas. Las palabras pronosticadas más precisas ingresadas en Skype. En condiciones idénticas, resultó ser un 3,4% más preciso que Zoom y un 8% más preciso que Hangouts.
En otro caso, se llevaron un diccionario de 4 mil palabras. Pero luego el 75% de las palabras ingresadas estaban en la lista de las 200 palabras más probables.
Un matiz interesante: el trabajo del algoritmo depende en gran medida de la ropa de los sujetos. Por ejemplo, las personas con las manos desnudas son más susceptibles a los ataques. La precisión de reconocimiento de los caracteres ingresados cuando los participantes en el experimento vestían ropa sin mangas fue del 81,7%, frente al 74,4% y el 73% de la precisión con mangas largas y cortas, respectivamente.
El tipo de teclado y la distancia entre las teclas afectan el estilo de escritura y la precisión del reconocimiento. Pero, como resultó, esto no es tan esencial para la precisión. El teclado Logitech es significativamente más grande que el Anker, pero la precisión es casi idéntica.
Además de las pruebas de laboratorio, los desarrolladores observaron a 10 participantes en su entorno familiar típico: siete hombres y tres mujeres. Todos los participantes tenían aproximadamente la misma velocidad de escritura de 3,7 clics por segundo y una tasa de error del 86,7%. Para la pureza del experimento, se introdujeron una serie de condiciones limitantes: duración de la llamada de 30 minutos, actividades de PC recomendadas de diez minutos, etc.
Como resultado del experimento, resultó que en casa, no todos usaban la posición de las cámaras, similar a las condiciones de laboratorio. Además, una resolución diferente de las cámaras web afectó la precisión de la información producida por el algoritmo. En un caso, el cabello cubrió completamente el área del antebrazo, privando al algoritmo de la capacidad de análisis. Entonces, en general, no es tan difícil defenderse.
