Seeing Ai de Microsoft

Application iOS de Microsoft disponible gratuitement sur l'Apple Store, Seeing Ai donne aux personnes déficientes visuelles une déscription auditive de son environnement proche.

Version : 3.7.1

Date de publication : 25 novembre 2020

Convertir cette fiche au format MP3

Applicatio iOS Seeing Ai de Microsoft

Présentation

Créée pour les personnes déficientes visuelles et disponible gratuitement sous iOS, l’application Seeing AI de Microsoft est compatible avec le lecteur d’écran Voice Over. Elle utilise la caméra d’un iPhone pour une capture de l’environnement puis effectue un traitement via l’intelligence artificielle de Microsoft et l’interrogation de données stockées sur serveur pour donner une description audio des éléments constituant cet environnement…

Utilisation

Au lancement de l’application, l’interface de Seeing AI propose huit canaux représentés par des vignettes en bas d’écran, chacune correspondant aux huit fonctions qui donnent une représentation auditive des éléments proche.

Les canaux « Texte court » et « Document » permettent la reconnaissance de caractères et la lecture audio des textes au survol de la caméra du smartphone ou après une prise de vue secondée par un repérage auditif de la surface du document.

« Produit » localise et identifie les code-barres des produits de consommation.

« Personne » effectue une reconnaissance faciale des individus avec une description de leurs caractéristiques et émotions.

« Billets » donne la valeur faciale des billets de banque.

« Scène » pour une description des différents éléments situés dans le champ de capture du smartphone.

« Couleur » détecte et énonce la couleur pointée par la caméra.

Et enfin « Luminosité » génère une sonorité pour connaitre le niveau d’éclairage du lieu courant.

Masquer la fiche technique

Caractéristiques générales

  • Nom de la source : Association Valentin Haüy CERTAM
  • Nom commercial du produit : Seeing AI
  • Fabricant: Microsoft
  • Catégorie : Application mobile / Multifonctions
  • Version logicielle : 3.7
  • Date de sortie : 19/10/2020
  • Prix catalogue : Gratuit
  • Importateurs ou Distributeur : Apple Store
  • Langues disponibles : environ 70 dont le français, l’anglais, l’allemand, l’espagnol, l’italien…

Configuration requise :

  • iPhone 5C, 5S et versions ultérieures ; performances optimales avec les modèles iPhone 6S, SE et ultérieurs

Compatibilité avec les systèmes d’exploitation

  • iOS version 10 ou ultérieure

Accessibilité vocale

  • Auto-vocalisation de l’application : Non
  • Accessibilité de l’interface utilisateur par le lecteur d’écran natif au système : Oui
    • Lecteur d’écran utilisé pour la vocalisation de l’interface : Voice Over (iOS)
  • Ressources

Accessibilité visuelle

  • Fonction d’agrandissement de l’application : Non
  • Fonction d’amélioration de l’affichage de l’application (couleurs, etc.) : Non
  • Accessibilité de l’interface utilisateur avec le Zoom et autres améliorations de la perception de l’affichage natifs au système : Oui
  • Ressources 

Texte court

  • Lecture audio instantanée du texte placé devant la caméra arrière : Oui
  • Suivi de la lecture placée sous la caméra au déplacement de l’appareil : Oui
  • Optimisation de la reconnaissance et de la lecture pour les textes en langue étrangère : Non
  • Éclairage de la zone de détection : Oui
  • Désactivation de l’éclairage : automatique au bout de quelques minutes d’inactivité
  • Sélection d’une langue pour la reconnaissance du texte et la lecture par synthèse vocale : Oui
    • Langues proposées : 1 langues dont français, anglais, espagnol, allemand, italien

Document

  • Lecture audio du texte de la page capturée par la caméra arrière : Oui
  • Aide à la localisation du texte par détection des angles du documents : Oui
  • Capture automatique après détection des angles du document : Oui
  • Reconnaissance de la structure du document (niveaux de titre, polices…) : Oui
  • Fonctions d’agrandissement / réduction du texte affiché : Oui
  • Mise en évidence visuelle du texte en cours de lecture : Oui (mot et phrase)
  • Synchronisation de la lecture du texte avec son affichage : Oui
  • Partage du retour utilisateur : Oui
    • Format : image ou texte (html)
    • Emplacements : Messages, Mail, Twitter, Fichier, etc.
  • Sélection d’une langue pour la reconnaissance du texte et la lecture par synthèse vocale : Oui
    • Langues proposées : 1 langues dont français, anglais, espagnol, allemand, italmien

Produit

  • Détection de codes-barres des produits de consommation capturés par la caméra arrière : Oui
    • Type de codes-barres détectés : unidimensionnels
  • Signaux sonores d’aide au repérage du code-barre : Oui
  • Reconnaissance des codes-barres de médicaments : Non
  • Connexion data nécessaire pour l’identification d’un code-barre : Oui
  • Bases de données interrogées : non communiqué
  • Distance idéale entre le code-barre et la caméra : dépend de la taille du code barre et de la forme de l’emballage du produit
  • Retour utilisateur à la détection du code-barre : nom du produit et information complémentaire si disponible
  • Partage du retour utilisateur : Oui
    • Format : Texte
    • Emplacements : Messages, Mail, Twitter, Fichier, etc.

Personne

  • Capture et description audio des visages : Oui
  • Éléments donnés par la description audio : sexe, âge, émotions
  • Annonce de la distance entre l’objectif et le visage : Oui
  • Bascule caméra arrière / caméra frontale pour la capture : Oui
  • Fonction de reconnaissance faciale et attribution d’un nom à un visage : Oui
  • Nombre de prise de vues nécessaires pour la reconnaissance faciale : 3
  • Enregistrement de la capture : Oui
  • Partage de la photo capturée : Oui

Billets

  • Mode de fonctionnement et transmission de l’information : Annonce du montant de la coupure au survol du billet par la caméra arrière du téléphone
  • Devises reconnues : Euros, Dollars US, Dollars canadien, Livres britannique, Lire turc, Real brésilien, Roupies indiennes, Yen japonais
  • Reconnaissance des billets chiffonnés ou pliés : Oui
  • Éclairage de la zone de détection : Oui
  • Désactivation de l’éclairage : automatique au bout de quelques minutes d’inactivité

Scène

  • Détection des éléments visualisés par la caméra de l’appareil : Oui
  • Utilisation de l’intelligence artificielle pour l’analyse de l’image : Oui
  • Analyse de l’image par un traitement humain collaboratif : Non
  • Description détaillée de la scène par le déplacement du doigt sur la photo capturée : Oui
  • Enregistrement de la photo capturée : Oui
  • Partager l’image capturée : Oui
  • Explorer les contenus de la capture par déplacement du doigt sur la photo : Oui

Couleur

  • Méthode d’utilisation : pointage de l’élément coloré par la caméra arrière
  • Annonce vocale de la couleur détectée par la caméra : Oui
  • Recherche d’une couleur spécifique sélectionnée dans une liste : Non
    • Nombre de couleurs prises en charge : Non communiqué
  • Fréquence d’annonce du message : Au déplacement de la caméra sur une nouvelle couleur
  • Éclairage de la zone de détection : Oui
  • Désactivation de l’éclairage : automatique au bout de quelques minutes d’inacivité

Luminosité

  • Détection du taux de luminosité ambiant : Oui
  • Caméra utilisée pour la détection de lumière : caméra arrière
  • Retour de l’information à l’utilisateur : sonorité grave à aigu en fonction de l’intensité lumineuse
  • Affichage du niveau de luminosité en lux : Non

Documentation

  • Manuel d’utilisation électronique : Oui (https://www.microsoft.com/fr-fr/ai/seeing-ai )
    • Langue : français
    • Formats : html
  • Accessibilité du document (bonne, moyenne, médiocre) : bonne
  • Manuel d’utilisation ou guide de référence rapide imprimé « en noir » : Non
  • Manuel d’utilisation ou guide de référence rapide en braille : Non
  • Manuel d’utilisation ou guide de référence rapide audio : Non

Points forts

  • Le canal « Texte court » permet une lecture rapide et efficace, et pratiquement en temps réel, des textes placés sous la caméra.
  • La facilité de capture des codes-barres pour l’identification des produits de consommation.
  • Le canal « Scène » avec une description efficace de l’environnement, objets, individus, animaux visualisés par la caméra de l’appareil.
  • Le côté pratique et les performances de la détection des billets de banques, de la reconnaissance des couleurs et de l’indication du niveau de luminosité.
  • Pour économiser la batterie, les fonctions des différents canaux désactivés automatiquement dès qu’une inactivité prolongée est détectée.

Points faibles

  • La sélection d’une langue de reconnaissance et de lecture autre que le français ne fonctionne pas dans le canal « Document »
  • Absence de défilement vertical automatique pendant la lecture audio du texte dans le canal document.
  • Dans le canal « Document », chevauchement des lignes du texte reconnu lors de l’augmentation de la taille d’affichage.
  • La détection de couleurs est peu sensible aux nuances de teintes, les couleurs bleu clair et bleu foncé par exemple, seront souvent signalées par le message « bleu ».

Nos conclusions

Disponible gratuitement sur l’Apple Store, l’application Seeing AI bénéficie de l’intelligence artificielle et des services Cloud de Microsoft. Toujours à portée de main sur son smartphone, elle offre aux personnes déficientes visuelles une description audio des principaux éléments visuels qui composent notre environnement quotidien. Développée par un ingénieur non-voyant et accessible avec le lecteur d’écran Voice Over, c’est une application qui devient vite indispensable pour tout utilisateur équipé d’un iPhone.

Outils et services


Voici quelques outils qui vous permettront de retrouver le CERTAM ailleurs que sur son site web. N'hésitez pas à vous y abonner et à interagir avec nous !

Ces outils sont également accessibles via vos téléphones mobiles pour profiter de nos services où que vous soyez !

D'autres contenus, souvent complémentaires, pourront vous y être proposés.

licence Creative Commons Paternité - Pas de Modification 2.0 France. CERTAM by CERTAM - AVH est mis à disposition selon les termes de la licence Creative Commons Paternité - Pas de Modification 2.0 France.
Basé(e) sur une œuvre à www.certam-avh.com.