1. Accueil
  2. ICCHP 2020: Une application de navigation en espace clos avec assistance visuelle par machine

ICCHP 2020: Une application de navigation en espace clos avec assistance visuelle par machine

Auteur: Technologie et Innovation / SBV / décembre 2020

Titre-Original «An Indoor Navigation App Using Computer Vision and Sign Recognition» (Giovanni Fusco, Seyed Ali Cheraghi, Leo Neat & James M. Coughlan)

Naviguer dans des espaces clos est un défi majeur pour les personnes avec un handicap

visuel. Les personnes voyantes peuvent s’orienter grâce à des repères visuels, comme des panneaux d’information ou d’autres caractéristiques structurelles.

Pour que les personnes aveugles et malvoyantes trouvent elles aussi leur chemin dans des espaces clos, le Department of Computer Science and Engineering de l’Université de Californie a conçu une application qui guide étape par étape les personnes concernées jusqu’à la destination souhaitée.

L’application fait appel à l’intelligence artificielle pour reconnaître les murs, les panneaux d’affichage, etc. Dans la vidéo ci-dessous, un exemple est présenté de la manière dont un utilisateur aveugle navigue dans un corridor jusqu’au bureau d’un collègue. Des indications telles que «left», «straight» ou «Your destination is in front of you» l’aident à suivre le bon chemin.

Il tient sa canne blanche dans la main droite, et son smartphone, dans celle de gauche. Le smartphone est placé à hauteur de poitrine, avec la lentille de l’appareil photo du smartphone tournée vers l’extérieur.

Démonstration de l’app (lien Youtube): https://www.youtube.com/watch?v=nw8KaWg0dCU

Avantages de cette solution

  1. L’application, qui est sans barrières, a été testée par des personnes aveugles et malvoyantes.
  2. Elle fonctionne sur un smartphone standard et ne nécessite pas d’appareils supplémentaires ou d’infrastructure spéciale. L’application fait appel à des capteurs et à la caméra du smartphone.
  3. Il est nécessaire de disposer d’une carte bidimensionnelle de l’endroit, avec indication des parois et panneaux indicateurs (par exemple les issues de secours).
  4. L’application reconnaît l’emplacement sans que l’utilisateur doive diriger son smartphone en direction d’un panneau indicateur spécial.
  5. Ne fait pas appel aux données GPS, n’utilise pas de beacons et n’a pas besoin d’une modélisation tridimensionnelle des alentours.
  6. L’emplacement actuel de l’utilisateur est déterminé par les données d’accélération et de mouvement.
  7. Signal haptique lorsque l’utilisateur prend une mauvaise direction.
  8. Le nouvel itinéraire est calculé automatiquement.
  9. Une étude a révélé que l’utilisateur pouvait être localisé à un mètre près.

Fonctionnement

  1. Pour localiser l’utilisateur, l’application a besoin des éléments suivants:
    1. carte en deux dimensions avec indication de l’emplacement des parois, panneaux indicateurs, ascenseurs, escaliers, etc.
    2. Intelligence artificielle pour reconnaître les panneaux indicateurs, murs, etc. La reconnaissance des panneaux indicateurs permet d’évaluer encore mieux la distance.
    3. Un algorithme permet de déterminer les mouvements de l’utilisateur. Fonctionne même s’il n’y a aucun panneau indicateur à proximité.
  2. Les itinéraires sont décrits au moyen d’un graphique avec des points d’intersection et des angles (comme le plan d’un métro).
  3. Chaque point est soit:
    1. un centre d’intérêt (Point of Interest POI) ou
    2. un point de contrôle. L’utilisateur doit alors soit modifier la direction suivie, soit choisir dans quelle direction il souhaite aller ensuite.
  4. Le graphique est intégré à un système de coordonnées bidimensionnel.
    1. L’emplacement actuel de l’utilisateur jusqu’au prochain point est épinglé dans le graphique.
    2. Le chemin le plus court menant au nouveau point est alors calculé.
    3. Pendant la navigation, des indications telles que «à gauche» ou «à droite» sont affichées.

Démarches ultérieures de la part de l’équipe de recherche

  • Optimiser l’app iPhone
    • afin de reconnaître des panneaux indicateurs (par exemple «toilettes»).
    • afin de reconnaître des objets encore plus rapidement.
  • Étendre l’application à d’autres espaces intérieurs.
  • Tester l’application avec le concours d’utilisateurs aveugles et malvoyants.
  • Intégrer de nouveaux éléments de commande pour les utilisateurs malvoyants.

Champs d’application possibles pour Technologie et innovation

Cette solution est très prometteuse. À notre avis, cette solution pourrait être développée pour les domaines suivants:

  1. Reconnaissance de sorties d’une gare, pictogrammes de bus, pictogrammes de taxi, etc. Un utilisateur pourrait ainsi être guidé sans assistance d’un quai de gare à un arrêt de bus ou à une station de taxi.
  2. Navigation dans des centres commerciaux: l’utilisateur pourrait être guidé sans assistance jusqu’à un stand d’information, des WC ou un magasin quelconque.
  3. Musées: navigation vers les diverses salles d’exposition, reconnaissance de peintures et restitution vocale d’informations complémentaires

Collaboration

Les membres de Technologie et innovation étaient curieux et ont voulu savoir à quel point il était facile de se déplacer dans les locaux du siège de la FSA grâce à cette application. Nous avons demandé à James Coughlan, directeur de l’étude, si nous pouvions tester l’application avec notre propre matériel cartographique. Hélas, elle ne peut pour l’instant être complétée avec du matériel cartographique supplémentaire. Une telle mise à jour est toutefois en cours de planification. Nous vous informerons dès que nous aurons de plus amples informations à ce sujet.

Sources

  1. Article: https://www.ski.org/sites/default/files/publications/icchp_navigation-preprint.pdf
  2. Contact James Coughlan (directeur d'étude): https://www.ski.org/users/james-coughlan
  3. étude «Indoor Localization for Visually Impaired Travelers Using Computer Vision on a Smartphone»: https://www.ski.org/sites/default/files/publications/fusco-coughlan-v2.pdf