L’application de Huawei utilise l’IA pour transformer les textes des livres en langage des signes

Grâce à une application appelée Story Sign, la technologie lit le texte des livres pour enfants via une caméra et le convertit en langage des signes. Huawei a lancé une initiative qui utilise les capacités d’intelligence artificielle de son dernier smartphone pour aider les enfants sourds à lire plus jeunes.

L’application développée par le fabricant chinois est particulièrement intéressante. Cette technologie est une première mondiale. Aucune autre application n’existe encore. Cependant, son concept est remarquablement simple, mais la technologie qui le fait fonctionner est très complexe. Elle a la capacité de changer la vie des enfants sourds.

De gros efforts de recherche et développement ont été déployés

Dans le but de permettre aux enfants sourds de lire des livres, Huawei a travaillé sans relâche pour l’élaboration de cette application. La marque a dû exploiter toutes les capacités de l’intelligence artificielle, en utilisant la reconnaissance optique de caractères dans les livres pour enfants et en traduisant le langage dans le langage des signes.

Voici la présentation de cette technologie en anglais :

https://www.youtube.com/watch?v=5KMTv5Oz9Q4

Les enfants sourds peuvent avoir du mal à apprendre à lire. Huawei promet que l’application, associée à un smartphone et à un livre physique, offre une meilleure expérience pour les parents et les enfants.

L’application fonctionne d’une manière très simple

L’utilisation de cette application est très simple. En effet, il suffit de l’ouvrir et de choisir un livre dans la bibliothèque Story Sign. L’utilisateur devra ensuite pointer l’appareil photo du smartphone sur la première page du livre pour mettre en évidence chaque mot de l’histoire en tant que signature, qui lit, comprend et traduit les mots en langue des signes.

L’idée est de créer une expérience de lecture naturelle pour les enfants sourds. Cela permet de donner aux parents et aux enfants la capacité de lire à leur propre rythme. Huawei affirme que cette fonctionnalité d’intelligence artificielle est maintenant rendue possible grâce au nouveau processeur Kirin 980, intégré au dernier appareil phare de la marque, le Mate 20 Pro, associé au système de triple caméra Leica du téléphone.