Bangbang combine des indices tirés du visage, des échanges vocaux bilingues et une assistance par IA. L’opérateur choisit la réponse finale.
HRFEST 2026 · Article 230 IHCI 2026 · Article 99
Deux articles de conférence portent sur la même plateforme. Je suis deuxième auteur sur neuf de l’article sur la perception et la reconnaissance vocale bilingue et quatrième sur huit de celui consacré à l’aide à la décision de l’opérateur par des modèles exécutés en local ou dans le cloud.
À partir des points du visage détectés par MediaPipe, le système utilise deux méthodes : un CNN entraîné, au format ONNX, et une analyse interprétable par unités d’action.
Ma contributionPerception faciale
J’ai mis au point la chaîne de vision et l’ai intégrée sur Raspberry Pi dans le cadre du projet d’équipe.
Décision finaleOpérateur humain
L’opérateur s’appuie sur les mouvements du visage et les suggestions de réponse pour décider.
Présentation du projet
Bangbang permet de piloter un robot avatar à distance. L’opérateur dispose d’indices sur les expressions du visage et d’une reconnaissance vocale bilingue pour suivre l’échange et choisir sa réponse.
Le projet a donné lieu à deux articles de conférence distincts, l’un sur la perception (HRFEST, article 230), l’autre sur l’assistance à l’opérateur (IHCI, article 99). Le poster soumis au FURP 2026 réunit ces deux volets.
Bangbang 2.0 · schéma de la chaîne de vision préparé pour le projet. Le nœud de vision utilisait 16 Go de RAM ; la mention « 8 GB » du schéma d’origine est incorrecte.Image complète ↗
Ce que couvre le prototype
La version publique comprend le traitement des points du visage et des unités d’action, les définitions des modèles de reconnaissance des émotions, les scripts d’entraînement et d’exportation et des exemples de vision sur Raspberry Pi. Les jeux de données et les fichiers des modèles entraînés ne sont pas fournis.
Une branche antérieure du code, conçue pour des essais de reconnaissance vocale et de vision à l’arrêt, utilise Vosk avec un exemple de vocabulaire anglais. Elle est conservée à part des travaux ultérieurs sur la vision. Elle ne reproduit pas l’ensemble du système de reconnaissance vocale bilingue et de téléopération de l’équipe.
Les diapositives de l’article 99 présentent l’assistance par IA en local et dans le cloud, l’entrée vocale bilingue et l’interface Web où l’opérateur examine les propositions de réponse. La reconnaissance du chinois parlé fait appel à un service cloud. Les temps relevés pendant le développement correspondent à des requêtes et à des réglages différents. Ils ne permettent pas de classer les modèles dans des conditions contrôlées.
Les essais et les démonstrations illustrent certaines fonctions du prototype. Il reste à évaluer sa fiabilité de bout en bout, la justesse de l’interprétation des émotions, la réduction éventuelle de la charge de travail de l’opérateur et les bénéfices pour les utilisateurs.
Yanjie Zhou est crédité pour cette présentation d’équipe de 15 diapositives, dans sa version d’octobre 2026. Elle accompagne l’article sur l’assistance à l’opérateur de Bangbang. L’article 230 de HRFEST porte sur un autre volet, la perception.
Bangbang 2.0: Multimodal Perception and AI Assistance for Inclusive Telepresence. Équipe du poster : Changshuai Liu, Yanjie Zhou, Siheng Ye et Yuechen Cao. Encadrement : David Chieng. Coencadrement : Younghoon Chang.
Les documents de HRFEST renvoient aux copies des organisateurs sur Google Drive. Le PDF intégral de l’article 230 n’est pas hébergé ici. Les diapositives de l’article 99 consacrées à l’assistance à l’opérateur sont disponibles sur ce site. Dans le PDF, des images fixes remplacent les vidéos.
Le dépôt contient les modules de perception et les instructions pour installer les modèles et l’environnement d’exécution. Il ne permet pas de reproduire l’ensemble du système de reconnaissance vocale et de téléopération de l’équipe.
Bangbang V2: On-Device Facial Emotion and Bilingual Speech Recognition for a Raspberry Pi-Based Tele-Operated Avatar Robot
Younghoon Chang · Siheng Ye · Yuechen Cao · Yanjie Zhou · Changshuai Liu · Hoe Yin Khong · Yuhong Dai · David Chieng · Christian Fernando Libaque-Saenz
Siheng Ye · deuxième auteur sur neuf.
Accepté pour présentation. Le programme officiel indique le 5 novembre 2026, de 17:18 à 17:23 · Auditorio Biblioteca · T3 · heure du Pérou (UTC−5). La publication dans les actes reste à confirmer.
Le nom du directeur du projet est David Chieng. La graphie « Cheing » figure dans l’article et le programme.
Assistance à l’opérateur · IHCI 2026 · Article 99
Bangbang 2.0: Human-in-the-Loop Edge-Cloud LLM Decision Support for Inclusive Service Robots
Younghoon Chang · Yanjie Zhou · Changshuai Liu · Siheng Ye · Yuechen Cao · Hoe Yin Khong · Yuhong Dai · David Chieng
Siheng Ye · quatrième auteur sur huit.
Accepté pour présentation orale à IHCI 2026. Le programme officiel inscrit l’article 99 à la session SS2 du 30 octobre 2026, de 15:30 à 16:30 · IEB 124 · Ningbo (UTC+8).
Informations mises à jour le 7 novembre 2026 d’après les articles, les avis d’acceptation et les programmes officiels. La publication dans les actes, le DOI et l’indexation restent à confirmer.
