ロボティクス・環境認識 · IHCI 2026 · 論文105
ロボットによるエレベーター操作
エレベーターの操作部を認識し、オペレーターの指示に従ってボタンを押します。
Next Generation Internet of Everything Laboratory · 電気電子工学
ノッティンガム大学寧波校
IHCI 2026の口頭発表に採択されました。2026年9月の著者版を公開しています。
6棟で撮影した保存済みのRGB画像112枚をもとに、475件の指示を作成しました。このうち404件で正しいボタンを選びました。
ボタン部分を切り出し、Open / Close / Otherに分類した画像379枚で算出したマクロF1。
オペレーターの指示を受けてボタンを押した、定性的な実演です。反復試験による成功率は測定していません。
プロジェクト概要
既設の操作パネルを直接使えば、メーカー固有のインターフェースを介さずに操作できます。そのために、ボタンを検出し、ラベルを読み取って指示に合うボタンを選び、その位置をアームの座標系に変換します。
試作システムはJetson AGX Orinで動作し、RGB-Dカメラ、手首カメラ、ロボットアームを使います。オペレーターが台車を所定の位置に置き、押すボタンをその都度指示します。実演中は台車を動かしません。
結果と検証範囲
認識ベンチマーク、実行時の観察、実機での実演は、異なる観点からシステムを評価しています。保存画像を使ったボタン選択の結果は、実環境で認識から押下まで通して測った成功率ではありません。
| 評価項目 | 結果 | 評価条件 |
|---|---|---|
| 指示に合うボタンの選択 | 404 / 475 · 85.1% | 6棟で撮影・保存したRGB画像112枚 |
| Open / Close / Otherの分類 | マクロF1 0.9963 | ボタン部分を切り出してラベルを付けた画像379枚 |
| 重複した意味解析リクエストの除去 | 3,532 / 3,540 · 99.8% | 207秒間の連続動作を1回観察 |
| 実機でのボタン操作 | 定性的な実演2件 | 乗り場の下行き呼びボタンと、かご内の2階ボタン |
99.8%は重複リクエストを除去した割合で、認識精度や押下成功率ではありません。実演は2件で、複数のエレベーターでの再現性は未検証です。ボタンを押す力や位置の精度も定量化していません。
どちらの録画でも、アームがボタンに触れ、ボタンが点灯し、アームが離れる様子を確認できます。次は、異なるパネルで認識から押下までの実機試験を繰り返し、操作の成否判定と失敗時の復帰手順を詰めます。
資料
- 論文PDF · 12ページ · 0.5 MB (英語)
2026年9月のWeb版です。論文の全12ページを収録しています。
- IHCI 2026発表資料PDF · 10ページ · 3.6 MB (英語)
実験用ロボットの構成、認識の評価結果、実機での実演2件をまとめた発表資料（全10枚）です。スライド上の動画は静止画ですが、録画は上で再生できます。
- FoSE研究展示ポスターPDF · 1ページ · 1.5 MB (英語)
元のA1レイアウトとチームのクレジットを残し、公開版では学籍番号を削除しています。
高解像度の論文PDF (英語)もご覧いただけます。著者版の公開にはSpringer Natureの共有条件 が適用されます。
(英語)ポスター全体を表示 (英語)
研究実績
Robot–Elevator Interaction: From Physical Panel Recognition to Activation
IHCI 2026 · 論文105 · 口頭発表に採択
公式プログラム上の発表枠は2026年10月29日15:00–16:00、SS4（IEB 124、寧波・UTC+8）です。論文集への収録、DOI、文献データベースへの登録は未確認です。
論文要旨
既存のロボット向けエレベーターインターフェースは、メーカーごとに設備の改修が必要で、費用がかかり広く導入しにくい。既設の操作パネルをロボットが直接操作する方法なら、専用の設備改修に依存しない。ただし、パネルの配置、照明や反射、ラベル表記が異なっても、操作部を安定して認識・解釈し、ボタンを押せる必要がある。本研究では、タスクに特化したボタン検出、目的の操作部に特化した認識、視覚と言語を組み合わせた意味理解、信頼度に基づく棄却、意味情報の状態保持、非同期処理、実機による押下を統合し、認識から動作までをエッジ側で行う試作システムを提案する。認識性能、静止画像によるボタン選択、実行時の挙動を評価し、実機の押下は定性的な実演2件で確認した。6棟から得た静止RGB画像112枚をもとに作成した475件の指示に対し、404件で意図したボタンを選択し、正解率は85.1%だった。別のベンチマークでは、ボタン部分を切り出して人がOpen/Close/Otherのラベルを付けた379枚の画像に対し、HOG+SVM分類器がマクロF1で0.9963を得た。207秒間の動作評価では、候補ごとの重複した意味解析リクエストの99.8%を除去した。この間、ラベルの切り替わり、ちらつき、クラッシュ、カメラ映像の中断は観察されなかった。オペレーターの指示による実演2件では、いずれもロボットアームが選んだボタンを押し、離れて待機状態に戻った。これらの結果は、エッジ側でオフラインかつリアルタイムに動作する、ロバストなエレベーター操作ロボットを開発するうえでの実用的な知見と設計上の留意点を示している。