人機互動 · 協作遠端臨場
以臉部動作、雙語輸入與 AI 建議協助操作員，回覆內容仍由人決定。
HRFEST 2026 · 論文 230
IHCI 2026 · 論文 99
這個平台衍生出兩篇會議論文。我在感知與雙語語音研究中是九位作者中的第二作者；在由人參與決策的邊緣／雲端輔助研究中，是八位作者中的第四作者。
共用 MediaPipe 臉部特徵點，分別採用 CNN/ONNX 模型與可解釋的臉部動作單元方法進行辨識。
在完整團隊系統中，負責視覺流程實作與 Raspberry Pi 整合。
透過可見的臉部動作與建議回覆，協助操作員判斷如何回應。
Bangbang 是一個由人與系統協作、可遠端操控的化身機器人平台。臉部表情與雙語語音提供互動線索，操作員據此判斷並決定如何回應。
項目產出兩篇不同會議論文：感知研究（HRFEST 論文 230）與操作員輔助研究（IHCI 論文 99）。已提交的 FURP 2026 海報整合呈現這兩部分。
公開版本包含臉部特徵點與動作單元處理、情緒模型定義、訓練／匯出腳本及 Raspberry Pi 視覺範例。資料集與已訓練模型檔案不隨附。
較早期的固定式語音與視覺分支採用 Vosk，附英文詞彙範例。該分支與後期視覺工作分開保留，無法重現團隊研究中的完整雙語語音或遙操作系統。
論文 99 的簡報展示了本機與雲端 AI 輔助、雙語輸入，以及供操作員審閱建議回覆的瀏覽器介面。中文語音辨識透過雲端服務完成。簡報中的耗時數據是在不同提示詞和設定下記錄的開發觀察，不能用來對模型作公平排名。
目前的測試與示範展示了原型的部分功能。整體可靠性、情緒解讀是否準確、能否減輕操作員負擔，以及對使用者有何幫助，都還需要進一步評估。
臉部感知與雙語語音研究的簡報，連結由 HRFEST 主辦方提供。
同一感知研究的會議海報，與下方 FURP 團隊海報分開存放。
15 頁團隊簡報由 Yanjie Zhou 署名，保存的是 2026 年 10 月研究修訂版。簡報介紹 Bangbang 平台的操作者輔助研究，與 HRFEST 論文 230 的感知研究分屬兩篇論文。
Bangbang 2.0: Multimodal Perception and AI Assistance for Inclusive Telepresence. 海報團隊：Changshuai Liu、Yanjie Zhou、Siheng Ye 和 Yuechen Cao。指導老師：David Chieng。共同指導老師：Younghoon Chang。
HRFEST 連結會開啟主辦方存放在 Google Drive 的文件。本站未提供論文 230 的完整 PDF；本站的論文 99 簡報介紹操作者輔助研究，其中原有影片在 PDF 中以靜態畫面呈現。
(英文)儲存庫公開了感知元件，以及所需模型和執行環境的設定方法，但不包含團隊完整的語音與遠端操作系統。
感知元件原始碼與版本說明感知 · HRFEST 2026 · 論文 230
Siheng Ye · 九位作者中的第二作者。
已獲接納發表。官方議程安排於 2026 年 11 月 5 日 17:18–17:23 · Auditorio Biblioteca · T3 · 秘魯時間（UTC−5）。論文集出版尚未確認。
論文與議程將指導老師的姓氏拼寫為「Cheing」；本頁採用其慣用拼寫 David Chieng。
操作者輔助 · IHCI 2026 · 論文 99
Siheng Ye · 八位作者中的第四作者。
已獲 IHCI 2026 接納為口頭報告。官方議程將論文 99 列於 2026 年 10 月 30 日 15:30–16:30 的 SS2 場次 · IEB 124 · 寧波（UTC+8）。
論文資料於 2026 年 11 月 7 日依據論文文件、錄用通知及官方議程更新。論文集出版、DOI 與索引收錄尚未確認。