Des pensionnaires des universités du Michigan, de Pennsylvanie et de Columbia, aux États-Unis, et de l’université de Tel-Aviv, en Israël, ont participé à un programme de recherche bénéficiant du soutien de l’Institut Check Point de l’Université de Tel-Aviv et du financement du Defense Advanced Research Projects Agency. Au travers de ce programme, il était question de mettre en évidence la vulnérabilité des dispositifs personnels modernes.
Dans le cadre de leurs travaux, les scientifiques ont mis au point une technologie d’espionnage assez particulière qui permet de déterminer le contenu d’un écran distant en exploitant l’apprentissage automatique et le signal capté par un microphone situé à proximité de l’écran du dispositif cible. Ils précisent, en outre, que l’opération d’espionnage via leur technologie peut s’effectuer en se servant du microphone intégré d’un dispositif externe (webcam, smartphone, par exemple) ou d’une bande-son préexistante.
Les chercheurs ont baptisé leur technologie de surveillance « Synesthesia » et l’ont décrit comme : « une attaque par canal auxiliaire qui peut révéler le contenu d’un écran distant et donner accès à des informations potentiellement sensibles en se basant uniquement sur les fuites acoustiques [le bruit] liées au contenu des écrans LCD ».
Dans leur rapport, les chercheurs expliquent en détail comment une attaque peut être effectuée par le biais d’un simple appel (vidéo ou audio) et permettre à l’attaquant de déterminer ce que la cible est en train de faire sur son appareil (surf, inactif, en train d’écrire, etc.).
Pour afficher du contenu, les écrans d’ordinateur envoient des signaux à chaque pixel de chaque ligne avec des niveaux d’intensité variables pour chaque sous-pixel. Par ailleurs, la puissance envoyée à chaque pixel fluctue pendant toute la période de fonctionnement du moniteur, de sorte que les variations d’intensité de chaque pixel génèrent des fluctuations du son émis par l’alimentation de l’écran. C’est l’analyse de ces fluctuations de son par des algorithmes d’apprentissage automatique qui a permis aux chercheurs de peaufiner leur technique d’espionnage.
Bien que ces tests aient tous été réalisés avec un seul type de moniteur (Soyo DYLM2086), les chercheurs ont malgré tout réussi à démontrer qu’une attaque « écran croisé » était également possible — en utilisant une connexion distante pour afficher la même image sur un écran distant et enregistrer l’audio.
