로봇공학과 인식 · IHCI 2026 · 논문 105
로봇의 엘리베이터 조작
로봇이 엘리베이터 조작 패널을 인식해 조작자가 요청한 버튼을 누르는 연구입니다.
Next Generation Internet of Everything Laboratory · 전기전자공학
노팅엄대학교 중국 닝보 캠퍼스
IHCI 2026 구두 발표로 채택됐습니다. 2026년 9월 저자판을 공개합니다.
6개 건물에서 촬영해 저장한 RGB 이미지 112장으로 평가했습니다. 요청 475건 중 404건에서 올바른 버튼을 골랐습니다.
Open / Close / Other로 라벨을 붙인 버튼 영역 이미지 379장에서 측정한 매크로 F1.
조작자의 지시로 시작한 버튼 조작을 정성적으로 보여주는 시연입니다. 반복 시험에서의 성공률은 측정하지 않았습니다.
프로젝트 개요
기존 패널을 그대로 이용하면 제조사별 인터페이스 없이 엘리베이터를 조작할 수 있습니다. 그러려면 버튼을 찾고 표기의 뜻을 해석해 요청한 버튼을 고른 뒤, 그 위치를 로봇 팔의 좌표계로 변환해야 합니다.
시제품은 Jetson AGX Orin에서 작동하며 RGB-D 카메라, 손목 카메라, 로봇 팔을 사용합니다. 조작자가 카트의 위치를 잡고 버튼을 한 번씩 눌러 달라고 요청합니다. 시연 중 카트는 움직이지 않습니다.
결과와 평가 범위
인식 벤치마크, 실행 중 관찰, 실제 버튼 조작 시연은 서로 다른 항목을 보여줍니다. 저장된 이미지에서 대상 버튼을 고른 결과는 실시간 인식부터 버튼 조작까지의 전체 성공률을 뜻하지 않습니다.
| 평가 항목 | 결과 | 평가 조건 |
|---|---|---|
| 요청에 맞는 버튼 선택 | 404 / 475 · 85.1% | 6개 건물에서 촬영해 저장한 RGB 이미지 112장 |
| Open / Close / Other 분류 | 매크로 F1 0.9963 | 라벨을 붙인 버튼 영역 이미지 379장 |
| 중복된 의미 분석 요청 걸러내기 | 3,532 / 3,540 · 99.8% | 207초 동안 한 차례 실행하며 관찰 |
| 실제 버튼 작동 | 정성적 시연 2건 | 승강장 하행 호출 버튼과 엘리베이터 내부 2층 버튼 |
99.8%는 중복 요청을 걸러낸 비율이며, 인식 정확도나 버튼 누르기 성공률이 아닙니다. 버튼 조작 사례 2건으로는 다른 엘리베이터에서도 동작을 반복할 수 있는지 알 수 없습니다. 버튼을 누르는 힘과 위치 정확도는 정량적으로 측정하지 않았습니다.
두 영상에서 모두 로봇 팔이 버튼에 닿고, 버튼에 불이 들어온 뒤 팔이 물러납니다. 다음 단계에서는 여러 종류의 패널에서 실시간 인식부터 버튼 조작까지 반복 평가하고, 결과 확인과 복구 절차를 더 명확히 할 계획입니다.
자료
- 논문PDF · 12쪽 · 0.5 MB (영어)
2026년 9월 웹 공개본입니다. 논문 12쪽을 모두 담았습니다.
- IHCI 2026 발표 자료PDF · 10쪽 · 3.6 MB (영어)
플랫폼, 인식 결과, 실제 조작 시연 2건을 담은 발표 자료 10장입니다. 슬라이드 속 영상은 정지 화면으로 표시되며, 시연 영상은 위에서 재생할 수 있습니다.
- FoSE 연구 전시 포스터PDF · 1쪽 · 1.5 MB (영어)
원본의 A1 레이아웃과 팀원 표기를 유지했습니다. 이 공개본에서는 학번을 가렸습니다.
원본 해상도의 논문 PDF (영어)도 볼 수 있습니다. 저자판에는 Springer Nature의 공유 조건 이 적용됩니다.
(영어)전체 포스터 보기 (영어)
연구 실적
Robot–Elevator Interaction: From Physical Panel Recognition to Activation
IHCI 2026 · 논문 105 · 구두 발표 채택.
공식 프로그램상 세션은 닝보 현지 시간(UTC+8) 2026년 10월 29일 15:00–16:00, SS4, IEB 124입니다. 논문집 게재, DOI, 색인 등재 여부는 아직 확인되지 않았습니다.
논문 초록
기존의 로봇용 엘리베이터 인터페이스는 제조사마다 별도의 개조가 필요해 비용이 많이 들고 적용 범위를 넓히기 어렵다. 기존 패널을 직접 조작하면 인프라 개조에 의존하지 않을 수 있지만, 버튼 배치, 조명, 반사, 표기 방식이 달라도 로봇이 조작부를 안정적으로 인식하고 해석해 작동시켜야 한다. 본 연구에서는 과업에 맞춘 버튼 검출, 전용 대상 인식, 시각·언어 정보에 기반한 의미 해석, 신뢰도에 따른 인식 결과 제외, 의미 상태 유지, 비동기 처리, 실제 버튼 조작을 하나로 연결한 엣지 시제품을 제시한다. 인식 성능, 정지 이미지 기반 버튼 선택, 실행 중 동작을 평가하고 실제 버튼 조작은 정성적 시연 2건으로 살펴봤다. 6개 건물에서 얻은 정지 RGB 이미지 112장으로 구성한 대상 선택 요청 475건 중 404건에서 의도한 버튼을 골라 85.1%의 정확도를 기록했다. 사람이 Open/Close/Other로 라벨을 붙인 버튼 영역 이미지 379장으로 별도 평가한 결과, HOG+SVM 분류기의 매크로 F1은 0.9963이었다. 207초간 실행했을 때 중복된 후보별 의미 분석 요청의 99.8%를 걸러냈으며, 라벨 변경, 깜박임, 비정상 종료, 카메라 중단은 관찰되지 않았다. 조작자의 요청으로 시작한 시연 2건에서 모두 로봇 팔이 선택한 버튼을 작동시킨 후 물러나 대기 상태로 돌아갔다. 이 결과는 오프라인에서 실시간으로 작동하는 강건한 엣지 기반 로봇–엘리베이터 조작 시스템을 설계할 때 고려할 점을 보여준다.