Robotique et perception · IHCI 2026 · Article 105
Interaction robot–ascenseur
Le robot reconnaît les commandes d’un ascenseur et appuie sur le bouton que lui indique l’opérateur.
Next Generation Internet of Everything Laboratory · Génie électrique et électronique
University of Nottingham Ningbo China
Accepté pour présentation orale à IHCI 2026. Version des auteurs de septembre 2026 disponible.
Le système a trouvé le bon bouton pour 404 des 475 demandes, formulées à partir de 112 images RGB enregistrées dans six bâtiments.
F1 macro sur 379 vignettes annotées selon trois catégories : ouverture, fermeture ou autre.
L’opérateur a demandé au robot d’appuyer sur un bouton dans chaque démonstration. Ces observations qualitatives ne donnent pas de taux de réussite sur des essais répétés.
Présentation du projet
Le robot utilise le panneau existant, sans interface propre au fabricant. Il repère les boutons, interprète les inscriptions, choisit la cible demandée et calcule sa position dans le repère du bras.
Le prototype fonctionne sur Jetson AGX Orin avec une caméra RGB-D, une caméra au poignet et un bras robotisé. Un opérateur positionne le chariot et demande chaque appui. Le chariot reste immobile pendant les démonstrations.
Résultats et portée
La perception a été évaluée sur des images enregistrées. Le comportement du système en cours d’exécution et les appuis physiques ont fait l’objet d’observations distinctes. Les résultats de sélection sur images fixes ne mesurent pas le taux de réussite du geste complet en temps réel.
| Mesure | Résultat | Conditions |
|---|---|---|
| Sélection de la cible demandée | 404 / 475 · 85.1% | 112 images RGB enregistrées dans six bâtiments |
| Classification Ouverture / Fermeture / Autre | Score F1 macro de 0,9963 | 379 vignettes annotées de boutons |
| Requêtes sémantiques redondantes filtrées | 3,532 / 3,540 · 99.8% | Une séquence de fonctionnement de 207 secondes |
| Appui physique sur les boutons | Deux démonstrations qualitatives | Bouton d’appel « descente » sur le palier et bouton de l’étage 2 dans la cabine |
Le système a filtré 99,8 % des requêtes redondantes. Ce chiffre ne renseigne ni sur la précision de la reconnaissance ni sur le taux de réussite des appuis. Deux démonstrations ne suffisent pas à établir que le geste est reproductible sur d’autres ascenseurs. La force d’appui et la précision du positionnement n’ont pas été quantifiées.
Dans les deux vidéos, on voit le bras toucher le bouton, le bouton s’allumer, puis le bras se retirer. L’étape suivante consiste à répéter l’essai sur différents panneaux, de la détection à l’appui en temps réel, avec des critères de réussite plus explicites et des procédures de reprise en cas d’échec.
Documents
- ArticlePDF · 12 pages · 0,5 Mo (Anglais)
Édition Web de septembre 2026. Les 12 pages de l’article sont conservées.
- Présentation IHCI 2026PDF · 10 pages · 3,6 Mo (Anglais)
La présentation compte 10 diapositives sur la plateforme, les résultats de reconnaissance et les deux démonstrations physiques. Dans le PDF, des images fixes remplacent les vidéos. Les enregistrements sont visibles plus haut.
- Poster de l’exposition de recherche de la FoSEPDF · 1 page · 1,5 Mo (Anglais)
Cette copie publique conserve la mise en page A1 et les noms des auteurs. Les numéros d’étudiant ont été retirés.
On peut également consulter l’article en pleine résolution (Anglais). La diffusion de la version des auteurs est soumise aux conditions de Springer Nature .
(Anglais)Ouvrir le poster complet (Anglais)
Travaux de recherche
Robot–Elevator Interaction: From Physical Panel Recognition to Activation
IHCI 2026 · Article 105 · Accepté pour présentation orale.
Programme officiel : 29 octobre 2026, de 15:00 à 16:00 · SS4 · IEB 124 · Ningbo (UTC+8). La publication dans les actes, le DOI et l’indexation restent à confirmer.
Résumé de l’article
Les interfaces qui permettent aux robots d’utiliser un ascenseur nécessitent des adaptations propres au fabricant, coûteuses et difficiles à généraliser. Une autre approche consiste à utiliser directement les boutons du panneau existant. Le robot doit alors savoir les repérer, interpréter leur fonction et les actionner malgré les variations de disposition, d’éclairage, de reflets et de marquage. Nous présentons un prototype embarqué qui couvre toute la chaîne, de la perception à l’action. Il associe la détection des boutons, la reconnaissance spécialisée de la cible, l’interprétation par un modèle vision-langage, le rejet selon le niveau de confiance, la conservation de l’état sémantique, le traitement asynchrone et l’appui physique. Nous évaluons la perception, la sélection de la cible sur images fixes et le comportement en cours d’exécution. Deux démonstrations qualitatives illustrent l’appui sur les boutons. À partir de 112 images RGB fixes prises dans six bâtiments, nous avons formulé 475 demandes de sélection. Le système a choisi le bon bouton dans 404 cas, soit 85,1 %. Sur un jeu d’évaluation distinct de 379 vignettes de boutons annotées à la main dans les catégories ouverture, fermeture et autre, le classificateur HOG+SVM atteint un score F1 macro de 0,9963. Au cours d’un essai de 207 s, le système a filtré 99,8 % des requêtes sémantiques redondantes portant sur les boutons candidats. Aucun changement d’étiquette, scintillement, plantage ou arrêt de caméra n’a été observé. Dans chacune des deux démonstrations déclenchées par un opérateur, le bras robotisé a actionné le bouton choisi, s’est retiré et est revenu en position d’attente. Ces résultats éclairent la conception de systèmes embarqués d’interaction robot–ascenseur capables de fonctionner de manière robuste, hors ligne et en temps réel.