機器人與感知 · IHCI 2026 · 論文 105
機器人與電梯互動
辨識電梯按鈕，依操作者的指令完成按壓。
下一代萬物互聯實驗室 · 電氣與電子工程
寧波諾丁漢大學
已獲 IHCI 2026 接納為口頭報告。提供 2026 年 9 月作者版本論文。
以六棟建築的 112 張 RGB 影像建立 475 次目標選擇請求，其中 404 次選對按鈕。
在 379 張已標註的開門／關門／其他按鈕裁切影像上計算 Macro-F1。
由操作者發出指令、觀察按鈕是否啟動的示範，尚未透過重複試驗統計成功率。
項目概覽
直接操作既有電梯面板，可以避免依賴特定製造商的介面。不過，系統仍須依序找到按鈕、讀懂標籤、選對目標，再將位置轉換成機械臂使用的座標。
原型在 Jetson AGX Orin 上執行，配備 RGB-D 相機、腕部相機及機械臂。操作者負責定位推車並發出每次按壓請求；示範期間推車保持靜止。
評估結果與限制
感知測試、執行觀察與實體示範各有不同的評估目的。靜態影像中選對按鈕的比例，不能當作即時辨識到實際按壓的整體成功率。
| 指標 | 結果 | 條件 |
|---|---|---|
| 指定目標選擇 | 404 / 475 · 85.1% | 來自六棟建築的 112 張已保存 RGB 影像 |
| 開門／關門／其他分類 | Macro-F1 0.9963 | 379 張已標註按鈕裁切影像 |
| 冗餘語義請求的過濾比例 | 3,532 / 3,540 · 99.8% | 一次 207 秒的執行觀察 |
| 實體按鈕啟動 | 兩次定性示範 | 廳外向下呼叫與轎廂二樓按鈕 |
99.8% 指的是冗餘請求的過濾比例，不是辨識準確率，也不是按壓成功率。兩次啟動示範仍不足以證明系統能在不同電梯上穩定重現結果；按壓力和定位精度也尚未量化。
兩段錄影都能看到機械臂接觸按鈕、按鈕亮起，然後撤回。下一步是在不同面板上反覆測試即時辨識到按壓的完整流程，並完善結果確認與失敗後的恢復機制。
相關資料
- 論文PDF · 12 頁 · 0.5 MB (英文)
2026 年 9 月網頁版本，保留全部 12 頁論文。
- IHCI 2026 簡報PDF · 10 頁 · 3.6 MB (英文)
10 頁簡報介紹平台、辨識結果和兩次實體示範。PDF 以靜態畫面代替影片，完整錄影可在上方播放。
- FoSE 研究展示海報PDF · 1 頁 · 1.5 MB (英文)
保留原始 A1 版面與團隊署名；公開副本已移除學號。
亦提供完整解析度論文 (英文)。作者版本的分享須遵循 Springer Nature 條款 。
(英文)開啟完整海報 (英文)
研究紀錄
Robot–Elevator Interaction: From Physical Panel Recognition to Activation
IHCI 2026 · 論文 105 · 已獲接納為口頭報告。
官方議程：2026 年 10 月 29 日 15:00–16:00 · SS4 · IEB 124 · 寧波（UTC+8）。論文集出版、DOI 與索引收錄仍未確認。
論文摘要
現有可供機器人使用的電梯介面需要特定製造商的改裝，成本高且難以擴展。直接與既有電梯面板進行實體互動，是一種具有潛力且不依賴基礎設施改裝的替代方案，但機器人必須能在面板佈局、照明、反光與標籤慣例不同的情況下，可靠地感知、理解並操作控制元件。我們提出一套邊緣端原型系統，其端到端感知至動作流程整合任務專用按鈕偵測、專門化目標辨識、視覺語言語義理解、依信心度拒絕不確定結果、語義狀態維護、非同步處理及實體按鈕操作。我們評估感知效能、靜態影像目標選擇、執行行為，並以兩次定性按鈕啟動示範評估實體操作。從六棟建築的 112 張靜態 RGB 影像衍生出的 475 次目標選擇請求中，系統有 404 次選中預期按鈕，準確率為 85.1%。在另一組包含 379 張人工標註開門／關門／其他按鈕裁切影像的基準測試中，HOG+SVM 分類器取得 0.9963 的 Macro-F1。在 207 秒執行評估中，系統過濾了 99.8% 的冗餘候選層級語義請求，未觀察到標籤切換、閃爍、崩潰或相機中斷。在兩次由操作者發起的實體按鈕啟動示範中，機械臂均啟動了所選按鈕、撤回並返回待機狀態。這些結果為發展穩健、邊緣端、離線及即時的機器人與電梯互動系統提供實務見解與設計考量。