인간–로봇 상호작용 · 원격 상호작용 플랫폼 공동 개발
표정과 두 언어의 음성 입력을 활용해 AI가 응답을 제안합니다. 최종 응답은 조작자가 결정합니다.
HRFEST 2026 · 논문 230
IHCI 2026 · 논문 99
한 플랫폼을 바탕으로 서로 다른 주제를 다룬 학회 논문이 2편 나왔습니다. 인식과 두 언어의 음성 입력을 다룬 논문에서는 공동 저자 9명 중 두 번째, 엣지·클라우드에서 조작자의 판단을 돕는 기능을 다룬 논문에서는 8명 중 네 번째 저자입니다.
MediaPipe로 얼굴의 특징점을 찾고, 학습한 CNN/ONNX 모델과 해석 가능한 얼굴 행동 단위 방식으로 처리합니다.
팀이 개발한 시스템에서 영상 인식 기능을 구현하고 Raspberry Pi에 통합했습니다.
관찰할 수 있는 얼굴 움직임과 응답 후보를 조작자에게 보여줘 판단을 돕습니다.
Bangbang은 팀에서 개발한 원격 조작 아바타 로봇 플랫폼입니다. 조작자는 표정과 두 언어의 음성 입력을 참고해 상황을 살펴보고 어떻게 응답할지 결정합니다.
이 프로젝트에서 인식 연구(HRFEST 논문 230)와 조작자 지원 연구(IHCI 논문 99)를 다룬 학회 논문 2편이 나왔습니다. FURP 2026에 제출한 포스터에는 두 연구를 함께 담았습니다.
공개 버전에는 얼굴 특징점과 행동 단위를 처리하는 코드, 감정 인식 모델 정의, 학습·내보내기 스크립트, Raspberry Pi 영상 인식 예제를 담았습니다. 데이터셋과 학습된 모델 파일은 포함하지 않았습니다.
초기 고정형 음성·영상 인식 브랜치는 Vosk에서 영어 예시 단어를 인식합니다. 이후 개발한 영상 인식 코드와는 별도로 보관합니다. 이 브랜치로는 팀 연구에 나온 두 언어의 음성 인식 기능이나 원격 조작 시스템 전체를 재현할 수 없습니다.
논문 99의 발표 자료에는 로컬·클라우드 AI 지원, 두 언어의 입력, 응답 제안을 검토하는 브라우저 화면이 나옵니다. 중국어 음성 인식에는 클라우드 서비스를 사용합니다. 처리 시간은 프롬프트와 설정을 바꿔 가며 개발 중에 관찰한 값으로, 조건을 통제해 모델의 성능 순위를 매긴 결과는 아닙니다.
기능 점검과 시연으로 시제품의 일부 기능을 확인했습니다. 전체 시스템의 신뢰성, 감정 해석의 정확성, 조작자 부담 감소와 사용자에게 실질적인 도움이 되는지는 추가 평가가 필요합니다.
표정 인식과 두 언어의 음성 입력을 다룬 발표 자료입니다. HRFEST 주최 측이 링크를 공개했습니다.
같은 인식 연구를 다룬 학회 포스터로, 아래의 FURP 팀 포스터와는 별개입니다.
Yanjie Zhou의 이름이 적힌 15장 분량의 팀 발표 자료입니다. 2026년 10월 연구 개정본으로, Bangbang 플랫폼의 조작자 지원을 다룬 논문에 해당합니다. HRFEST 논문 230의 인식 연구와는 별개입니다.
Bangbang 2.0: Multimodal Perception and AI Assistance for Inclusive Telepresence. 포스터 팀원은 Changshuai Liu, Yanjie Zhou, Siheng Ye, Yuechen Cao입니다. 지도 교원은 David Chieng, 공동 지도 교원은 Younghoon Chang입니다.
HRFEST 링크를 누르면 주최 측이 Google Drive에 공개한 자료가 열립니다. 논문 230 전문 PDF는 이 사이트에 올리지 않았습니다. 이 사이트의 논문 99 발표 자료는 조작자 지원 연구를 다루며, PDF에서는 삽입된 영상이 정지 화면으로 보입니다.
(영어)저장소에서 인식 코드와 필요한 모델 및 실행 환경의 설정 방법을 공개합니다. 팀이 개발한 음성 인식과 원격 조작 시스템 전체는 이 코드로 재현할 수 없습니다.
인식 소스 코드와 릴리스 노트인식 · HRFEST 2026 · 논문 230
Siheng Ye · 공동 저자 9명 중 두 번째.
학회 발표로 채택됐습니다. 공식 프로그램상 발표 일정은 페루 현지 시간(UTC−5) 2026년 11월 5일 17:18–17:23, Auditorio Biblioteca, T3입니다. 논문집 게재는 아직 확인되지 않았습니다.
논문과 공식 프로그램에는 지도 교원의 성이 “Cheing”으로 적혀 있습니다. 이 페이지에서는 통상 사용하는 표기인 David Chieng을 썼습니다.
조작자 지원 · IHCI 2026 · 논문 99
Siheng Ye · 공동 저자 8명 중 네 번째.
IHCI 2026 구두 발표로 채택됐습니다. 공식 프로그램에는 논문 99가 닝보 현지 시간(UTC+8) 2026년 10월 30일 15:30–16:30, SS2, IEB 124에 배정돼 있습니다.
논문, 채택 증빙, 공식 프로그램을 바탕으로 2026년 11월 7일에 정보를 갱신했습니다. 논문집 게재, DOI, 색인 등재 여부는 아직 확인되지 않았습니다.