Especialistas en seguridad informática obtienen un método para descubrir lo que se escribe durante una videoconferencia usando una IA y las posiciones corporales.
#1 Keystroke detection, which retrieves the segmented arm frames to compute the structural similarity index measure (SSIM) with the goal of quantifying body movements between consecutive frames in each of the left and right side video segments and identify potential frames where keystrokes happened
solo que no se basan solo en el sonido, tambien en el movimiento de las manos y brazos.
¿Cómo detectan eso? Si los brazos no se ven, como mucho los hombros (al menos en mis pocas videollamadas). Además, cada persona escribe con dedos distintos, no todo el mundo es mecanógrafo, incluso pulsando teclas de la izquierda con la mano derecha, y por tanto los movimientos de hombros serán distintos.
Yo, con mecanografía, y suelo escribir mal a veces por pereza supongo, sin levantar los codos de la mesa, así que poco movimiento va a detectar. No se, lo veo difícil por mucho que mire el movimiento de hombros, que por ejemplo en mi caso como digo, tiene que ser mínimo.
Supongo que esto detecta lo que escribes si lo haces de la forma más estándar/correcta y la cámara ve bien tus brazos.
Y ya si enfocas el teclado, la precisión aumenta al 100%.
PD: no he leído toda la noticia. Lo mismo me he perdido que “hace falta entrenar antes a la aplicación con la persona en concreto que va a analizar”.
Comentarios
briconsejo:
con silenciar el micro mientras se escribe ya no pueden inferir los keystrokes y por tanto no espiarte
#1 Keystroke detection, which retrieves the segmented arm frames to compute the structural similarity index measure (SSIM) with the goal of quantifying body movements between consecutive frames in each of the left and right side video segments and identify potential frames where keystrokes happened
solo que no se basan solo en el sonido, tambien en el movimiento de las manos y brazos.
#2 Toda la razón, sí que añado subir la cámara para que se vea lo menos posible los brazos
¿Cómo detectan eso? Si los brazos no se ven, como mucho los hombros (al menos en mis pocas videollamadas). Además, cada persona escribe con dedos distintos, no todo el mundo es mecanógrafo, incluso pulsando teclas de la izquierda con la mano derecha, y por tanto los movimientos de hombros serán distintos.
Yo, con mecanografía, y suelo escribir mal a veces por pereza supongo, sin levantar los codos de la mesa, así que poco movimiento va a detectar. No se, lo veo difícil por mucho que mire el movimiento de hombros, que por ejemplo en mi caso como digo, tiene que ser mínimo.
Supongo que esto detecta lo que escribes si lo haces de la forma más estándar/correcta y la cámara ve bien tus brazos.
Y ya si enfocas el teclado, la precisión aumenta al 100%.
PD: no he leído toda la noticia. Lo mismo me he perdido que “hace falta entrenar antes a la aplicación con la persona en concreto que va a analizar”.
#4 si tú enseñas a la IA cuando tengo esta posición del hombro del brazo tecleo esto es cuestión de tener un datasets amplio.