人とロボットのインタラクション · テレプレゼンスの共同開発
表情や2言語の入力を手がかりに、AIが返答を提案します。最終的な返答はオペレーターが決めます。
HRFEST 2026 · 論文230
IHCI 2026 · 論文99
同じプラットフォームについて、表情認識と2言語対応の音声認識、エッジ／クラウドAIによる人の判断支援を、別々の学会論文2本にまとめました。前者は全9名のうち第2著者、後者は全8名のうち第4著者です。
MediaPipeで取得した顔の特徴点を、学習済みのCNNモデル（ONNX）と、根拠を追いやすいアクションユニットの2方式で処理します。
画像認識パイプラインを実装し、チームで開発するシステムの一部としてRaspberry Piに組み込みました。
顔の動きに関する情報と返答の候補を表示し、オペレーターの判断を支援します。
Bangbangは、チームで開発した遠隔操作型のアバターロボットです。表情や2言語の音声から得た情報を参考に、オペレーターがやり取りを確認し、返答を選びます。
このプロジェクトに関連する学会論文は2本です。HRFEST論文230は表情認識を、IHCI論文99はオペレーター支援を扱っています。FURP 2026に提出したポスターでは、両方の取り組みを紹介しています。
公開版には、顔の特徴点とアクションユニットの処理、感情認識モデルの定義、学習・エクスポート用のスクリプト、Raspberry Piで画像認識を動かすサンプルが含まれます。データセットと学習済みモデルのファイルは同梱していません。
初期の据え置き型試作機向けのブランチでは、音声認識にVoskと英語のサンプル語彙を使用しています。その後の画像認識とは別に保管しており、チームの研究で扱う2言語対応の音声認識や遠隔操作のシステム全体は、このブランチからは再現できません。
論文99の発表資料では、端末上とクラウドのAI支援、2言語の入力、返答案を確認するブラウザー画面を紹介しています。中国語の音声認識にはクラウドサービスを使用します。処理時間はプロンプトや設定が異なる開発時の観測値で、統一条件でのモデルの優劣を示すものではありません。
実演や動作確認で示したのは、試作機の個別機能です。一連の処理の信頼性、感情の解釈精度、オペレーターの負担軽減、利用者への効果は、今後の評価課題です。
表情認識と2言語対応の音声認識に関する発表資料です。HRFEST主催者がリンクを公開しています。
同じ認識研究の学会ポスターです。下のFURPチームポスターとは別に公開されています。
Yanjie Zhouの名前が記載されたチーム発表資料（全15枚、2026年10月改訂）です。Bangbangを使ったオペレーター支援の研究を扱い、HRFEST論文230の認識研究とは別の内容です。
Bangbang 2.0: Multimodal Perception and AI Assistance for Inclusive Telepresence. ポスター作成はChangshuai Liu、Yanjie Zhou、Siheng Ye、Yuechen Cao。指導教員はDavid Chieng、共同指導教員はYounghoon Changです。
HRFESTのリンクは、主催者がGoogle Driveで公開している資料を開きます。論文230の全文PDFは当サイトにはありません。当サイトの論文99のスライドはオペレーター支援の研究を扱い、埋め込み動画はPDFでは静止画になっています。
(英語)リポジトリでは、認識処理のコードと、必要なモデルや実行環境のセットアップ手順を公開しています。このリポジトリだけでは、チームで開発した音声認識と遠隔操作のシステム全体は再現できません。
認識処理のコードとリリースノート認識 · HRFEST 2026 · 論文230
Siheng Ye（全9名のうち第2著者）
発表に採択されました。公式プログラム上の発表枠は2026年11月5日17:18–17:23（ペルー時間・UTC−5）、会場はAuditorio Biblioteca、セッションはT3です。論文集への収録は未確認です。
論文とプログラムでは指導教員の姓が「Cheing」となっています。ここでは本人が通常用いる表記に従い、David Chiengと記載しています。
オペレーター支援 · IHCI 2026 · 論文99
Siheng Ye（全8名のうち第4著者）
IHCI 2026の口頭発表に採択されました。公式プログラム上の論文99の発表枠は2026年10月30日15:30–16:30、SS2（IEB 124、寧波・UTC+8）です。
論文ファイル、採択資料、公式プログラムを確認し、2026年11月7日に論文情報を更新しました。論文集への収録、DOI、文献データベースへの登録は未確認です。