StorySign, une appli pour apprendre aux enfants sourds à lire

Le nombre d'enfants sourds et malentendants dans le monde est estimé à 32 millions, selon les chiffres de l'OMS de mars 2018. Autant d'enfants pour qui associer les mots aux sons, entendre leurs parents leur lire une histoire, demander à répéter une phrase ou toute autre étape clé de l'apprentissage de la lecture, s'avère très compliqué, voire impossible. Par ailleurs, on estime que 90 % des enfants sourds ont des parents entendants, ne maîtrisant pas toujours la langue des signes. Voilà pourquoi Huawei a mis au point une application inédite, permettant aux enfants sourds et malentendants d'apprendre à lire avec leurs parents. Cette expérience de lecture innovante, fédératrice et baptisée StorySign a été conçue par des experts de la surdité et des organismes caritatifs comme l'Union européenne des sourds et l'Association des sourds britanniques.

L'IA au service de l'apprentissage de la lecture. Le principe de l'appli est simple : l'enfant ou ses parents photographient une page d'un livre à l'aide d'un smartphone, puis en quelques millièmes de secondes, l'application reconnaît ainsi chaque mot et traduit, via un personnage ludique et attachant, chacune des phrases en langue des signes. Toutes ces actions sont possibles grâce à la puissance de l'Intelligence Artificielle, à la reconnaissance d'images et la reconnaissance optique des caractères (ROC). Imaginé par Aardman Animations - le studio d'animation britannique qui a crée Wallace & Gromit, Chicken Run ou encore Shaun le Mouton - l'avatar Star représente une petite fille avec de grandes mains et des expressions du visage précises et détaillées, afin que l'enfant interprète en un coup d’œil ses gestes, ses mimiques faciales, son regard et leurs significations. 

Disponible gratuitement depuis le lundi 3 décembre 2018 sur Google Play Store et l'AppGallery de Huawei (exclusivement sur Android pour le moment), StorySign peut d'ores et déjà traduire le livre "Où est Spot, mon petit chien ?" d'Eric Hill aux Editions Nathan. Toutefois, les créateurs de l'application ont pour projet de faire traduire des dizaines d'autres livres pour que les enfants sourds et malentendants puissent rapidement bénéficier d'une bibliothèque riche et variée. Et potentiellement appliquer cette innovation au système scolaire, afin que ces enfants puissent suivre le plus possible une scolarisation ordinaire. Un appel aux dons a ainsi été organisé tout le mois de décembre afin de soutenir le développement de StorySign. L'ensemble des bénéfices seront alloués aux divers projets d'alphabétisation des enfants sourds à travers l'Europe, un pourcentage étant destiné à l'achat de livres pour StorySign. A travers cette appli, "nous espérons que la sensibilisation aux difficultés d'alphabétisation des sourds encouragera le public à faire des dons et à soutenir l'une des œuvres caritatives avec lesquelles nous travaillons", conclut Andrew Garrihy, Directeur marketing Huawei pour l'Europe occidentale. 

Découvrez le clip vidéo de StorySign :

• En savoir plus sur l'application StorySign.