엣지 AI · IHCI 2026 · 논문 106
Raspberry Pi 5 공학 학습 도우미
답변과 함께 출처와 계산 과정을 확인할 수 있는 수업용 도우미입니다.
전기전자공학
노팅엄대학교 중국 닝보 캠퍼스
IHCI 2026 구두 발표로 채택됐습니다. 2026년 9월에 최종 제출한 저자판을 공개합니다.
GPU를 기준 환경으로 삼아 7개 구성을 비교했습니다. 채점 기준에 따른 평균 점수는 0–1 척도로 표시합니다.
Base + Tools의 답변 96개 중 54개가 연구에서 정한 완전 정답 기준을 충족했습니다.
외부 자료를 참고하지 않는 Base만 실행했습니다. Base + Tools와는 구성이 다르므로 두 결과를 동일 조건의 하드웨어 비교로 볼 수 없습니다.
프로젝트 개요
소형 언어 모델은 틀린 자료를 참고하거나 계산을 잘못해도 그럴듯한 답변을 내놓을 수 있습니다. 이 시제품에서는 4비트 양자화 모델 Qwen3-1.7B에 수업 자료 검색과 결정론적 계산 도구를 결합했습니다.
Ask는 답변과 함께 출처 또는 계산 과정을 보여줍니다. Quiz에서 답을 제출하면 피드백과 근거 자료를 볼 수 있습니다. Raspberry Pi 5에서 쓰도록 설계했으며, 평가 결과는 시스템 구성과 실행 기기를 구분해 제시합니다.
결과와 평가 범위
주요 오프라인 평가에서는 GPU를 기준 환경으로 삼아 전기전자공학 96문항으로 7개 구성을 비교했습니다. 표에는 채점 기준에 따른 0–1 척도의 평균 점수와 완전 정답 기준을 충족한 응답 수를 제시합니다.
| 구성 | 평균 점수(채점 기준 적용) | 완전 정답 |
|---|---|---|
| Base(외부 자료 없이) | 0.503 | 28 / 96 |
| Base + RAG | 0.555 | 34 / 96 |
| Base + Tools | 0.777 | 54 / 96 |
| 초기 SFT(외부 자료 없이) | 0.438 | 25 / 96 |
| 초기 SFT + Tools | 0.750 | 52 / 96 |
| 확장 SFT(외부 자료 없이) | 0.408 | 21 / 96 |
| 확장 SFT + Tools | 0.584 | 39 / 96 |
RAG는 검색 증강 생성, SFT는 지도 미세 조정입니다. 채점 기준에 따른 점수는 정확도를 백분율로 나타낸 값이 아닙니다. Base + Tools는 RAG에 도구를 더한 구성입니다. 지원하는 계산에는 결정론적 도구인 Calculator를 쓰고, 그 밖의 요청에는 자료 검색을 사용합니다. 강조한 GPU의 Base + Tools와 외부 자료 없이 실행한 Pi의 Base는 서로 다른 구성이므로 동일 조건의 하드웨어 비교로 해석할 수 없습니다.
별도 평가에서는 외부 자료 없이 Base만 실행해 두 기기를 같은 조건에서 비교했습니다. 같은 양자화 모델 파일과 96문항을 사용한 결과, 평균은 GPU 0.503, Pi 0.498이었습니다. 평균 차이(Pi − GPU)는 −0.005였으며 95% 구간은 −0.041에서 +0.032였습니다. 이 연구로 두 기기의 답변 품질이 동등하다고 결론 내릴 수는 없습니다.
검색 결과가 답변에 영향을 주는 별도 24문항에서 Base+RAG는 0.779, 외부 자료 없이 실행한 Base는 0.325였습니다. 평균은 +0.454만큼 높아졌습니다. 완전 정답 수에 대한 Holm 보정 검정에서는 p = 0.0625로 0.05 기준을 충족하지 못했습니다. Calculator로 처리할 수 있다고 사전에 분류한 24문항에서 Base+Tools는 Base+RAG보다 평균 +1.000점 높았습니다. 두 SFT 방식 모두 각각에 대응하는 Base 구성을 앞서지 못했습니다.
AI의 도움을 받아 채점 기준에 따라 점수를 매긴 뒤 저자가 검토했습니다. 독립적인 맹검 검증은 하지 않았습니다. 기기에서 관찰한 결과와 일부 웹 기능 시연은 별도로 제시합니다. 학습 효과, 사용성, 웹 시스템 전반의 신뢰성은 평가하지 않았습니다. 화면에 표시된 출처나 계산 과정을 참고해 답변을 검토할 수는 있지만, 그것만으로 정답 여부를 판단할 수는 없습니다.
자료
- 논문PDF · 11쪽 · 1.9 MB (영어)
2026년 9월 최종 제출본입니다. 원본 10쪽 앞에 판본과 공유 조건을 안내하는 페이지를 붙였습니다.
- IHCI 2026 발표 자료PDF · 13쪽 · 1.2 MB (영어)
2026년 10월 29일에 개정한 발표 자료로, 슬라이드 13장입니다.
- FoSE 연구 전시에 제출한 포스터PDF · 1쪽 · 0.4 MB (영어)
2026년 10월 20일에 제출한 포스터입니다. 공개본에서는 학번을 삭제했습니다.
저자판은 Springer Nature의 공유 조건 에 따라 공개합니다. 출판사의 공식 출판본(Version of Record)은 아닙니다.
(영어)전체 포스터 보기 (영어)
공개 소스 코드
공개 저장소에는 애플리케이션과 검색·계산 코드, 일반 예제, 설정 안내가 있습니다. 비공개 수업 자료, 이용이 제한된 평가 자료, 모델 가중치, 배포 설정은 제외했습니다. Ask와 Quiz의 모든 기능을 쓰려면 사용 권한이 있는 자료 모음, 그 자료로 만든 검색 색인, 호환되는 모델 실행 환경이 필요합니다.
저장소와 설정 안내연구 실적
A Lightweight Test and Training Platform Utilizing a Raspberry Pi 5: AI-retrieval, Tools and a Compact LLM
IHCI 2026 · 논문 106 · 구두 발표 채택.
이 연구 기록과 인용 정보는 IHCI 2026 증명서와 공식 프로그램에 기재된 제목을 따릅니다. 9월 저자 최종 원고에는 원래 제목인 “A Test and Training Platform Utilizing a Raspberry Pi 5: AI-Retrieval, Tools and a Compact LLM”이 그대로 남아 있습니다. 프로그램상 발표 일정은 닝보 현지 시간(UTC+8) 2026년 10월 30일 15:30–16:30, SS2, IEB 124입니다. 논문집 게재, DOI, 색인 등재 여부는 아직 확인되지 않았습니다.
논문 초록
범용 언어 모델을 학습 도우미로 쓰려면 과목에 맞게 조정해야 한다. 본 연구에서는 소형 모델 Qwen3-1.7B, 수업 자료에 기반한 검색, 결정론적 계산, 답변과 근거 및 도구 실행을 확인할 수 있는 웹 포털을 Raspberry Pi 5용 플랫폼으로 통합했다. 과목별 요구에 맞게 설정할 수 있으며, 이번 평가에서는 시스템 품질과 엣지 배포를 살펴봤다. 학습 성과는 평가 대상에 포함하지 않았다. GPU를 사용해 수업 관련 96문항에서 7개 구성을 비교했다. 외부 자료 없이 답을 생성하는 방식, 검색 증강 생성(RAG), Calculator 실행, 두 가지 지도 미세 조정(SFT) 방식을 평가했으며 별도 24문항으로 Base와 Base+RAG를 비교했다. Base + Tool-Augmented RAG의 채점 기준에 따른 평균 점수는 0–1 척도에서 0.777로 가장 높았다. 자료 검색이 필요한 문항에서는 검색을 추가했을 때 평균 품질이 높아졌다. Calculator로 처리할 수 있다고 사전에 분류한 24문항에서는 결정론적 계산 도구를 실행했을 때 가장 큰 개선이 나타났다. 두 SFT 방식 모두 각각에 대응하는 Base 구성보다 나은 결과를 보이지 않았다. 동일한 96문항으로 두 기기의 Base 점수를 짝지어 비교한 결과, 어느 쪽 점수가 더 높은지 확인되지 않았다. 같은 양자화 모델을 실행하는 데 Pi에서 더 오래 걸렸다.