Siheng Yeエンジニアのノート

エッジAI · IHCI 2026 · 論文106

Raspberry Pi 5 工学学習支援ツール

回答の出典や計算手順を確かめられる、授業向けの学習支援ツールです。

Siheng Ye · Xiaotong Li · Chang Qi · Linfei Yin · Yaokun Zhang · Ian Pratt

電気電子工学
ノッティンガム大学寧波校

IHCI 2026の口頭発表に採択されました。2026年9月に提出した最終原稿の著者版を公開しています。

主なオフライン評価96問

GPUで7通りの構成を比較し、0–1の尺度で採点基準に沿った平均点を算出しました。

GPUで最も得点が高かった構成0.777 / 1

Base + Toolsでは、96問中54問で完全正解の基準を満たしました。

Pi 5のCPUでの評価0.498 / 1

Pi 5のCPUでは、外部資料を使わないBaseだけを実行しました。Base + Toolsとは構成が異なり、ハードウェアのみの違いを比べた結果ではありません。

プロジェクト概要

小型言語モデルは、誤った資料を参照したり計算を間違えたりしても、もっともらしい回答を返すことがあります。試作システムでは、4ビットに量子化したQwen3-1.7Bに、授業資料の検索と決定論的な計算ツールを組み合わせました。

Askでは、回答とともに出典または計算過程を表示します。Quizでは、解答を送信するとフィードバックと根拠資料が表示されます。Raspberry Pi 5での動作を想定して設計し、評価結果は構成と実行環境を区別して示しています。

Raspberry Pi 5の試作ハードウェアと、Ask・Quizの処理の流れ
論文106 · ハードウェアとAsk/Quizの処理の流れ画像全体を表示

結果と検証範囲

主評価では、電気電子工学の96問について、7通りの構成をGPU上のオフライン環境で比較しました。表には採点基準(ルーブリック)に基づく平均点(0–1)と、完全正解の基準を満たした回答数を示します。

GPUでのオフライン基準評価 · 電気電子工学の96問
構成平均点(ルーブリック)完全正解数
Base(外部資料なし)0.50328 / 96
Base + RAG0.55534 / 96
Base + Tools0.77754 / 96
初期SFT(外部資料なし)0.43825 / 96
初期SFT + Tools0.75052 / 96
拡張SFT(外部資料なし)0.40821 / 96
拡張SFT + Tools0.58439 / 96

RAGは検索拡張生成、SFTは教師ありファインチューニングです。ルーブリックに基づく得点は正答率ではありません。Base + ToolsはRAGに計算ツールを加えた構成で、対応する計算は決定論的なCalculatorで処理し、その他の質問には資料検索を使います。表で強調したGPU上のBase + Toolsと、Pi上で外部資料を参照しないBaseは構成が異なるため、ハードウェアの差を直接比較することはできません。

別の評価では、外部資料を使わないBaseに構成をそろえ、両機器で同じ量子化済みモデルと96問を用いました。平均点はGPUで0.503、Piで0.498。平均差(Pi − GPU)は−0.005で、95%区間は−0.041から+0.032でした。この比較で回答品質の同等性が確認されたわけではありません。

資料検索が回答に影響しやすい別の24問では、Base+RAGの平均点が0.779、外部資料を使わないBaseが0.325で、差は+0.454でした。完全正解かどうかを比較したHolm補正後の検定では、p = 0.0625で、0.05の有意水準には達しませんでした。Calculatorが対応可能と事前に判定した24問では、Base+ToolsがBase+RAGを平均+1.000上回りました。評価した2種類のSFTは、どちらも対応するBase構成を上回りませんでした。

採点基準に沿ってAIの補助で採点し、その後に著者が確認しました。独立した盲検検証は実施していません。機器上での動作観察とWeb画面の個別の実演は、別々の結果です。学習効果、使いやすさ、Webシステム全体の信頼性は評価していません。出典や計算過程の表示は回答の検証に役立ちますが、表示だけで正しさを確認できるわけではありません。

資料

著者版はSpringer Natureの共有条件 に従って公開しています。出版社が公開する正式版(Version of Record)ではありません。

展示ポスター。細部はPDFで確認できます。 (英語)
FoSE研究展示の提出ポスター · 2026
ポスター全体を表示 (英語)

公開ソースコード

公開リポジトリには、アプリと検索・計算処理のコード、一般的な使用例、セットアップ手順があります。非公開の授業資料、利用制限のある評価資料、モデルの重み、デプロイ設定は含まれません。AskとQuizの全機能を利用するには、使用許可のある資料群、作成済みの検索インデックス、対応するモデルの実行環境が必要です。

リポジトリとセットアップ手順

研究実績

A Lightweight Test and Training Platform Utilizing a Raspberry Pi 5: AI-retrieval, Tools and a Compact LLM

IHCI 2026 · 論文106 · 口頭発表に採択

この研究記録と引用情報には、IHCI 2026の証明書と公式プログラムに記載された題名を使用しています。9月の著者最終稿には、原題「A Test and Training Platform Utilizing a Raspberry Pi 5: AI-Retrieval, Tools and a Compact LLM」が残っています。プログラム上の発表枠は2026年10月30日15:30–16:30、SS2(IEB 124、寧波・UTC+8)です。論文集への収録、DOI、文献データベースへの登録は未確認です。

論文要旨

汎用言語モデルを学習支援に使う場合、授業ごとの内容に合わせた調整が必要となる。本研究では、Raspberry Pi 5を対象に、小型モデルQwen3-1.7B、授業資料に基づく検索、決定論的な計算、回答・根拠・ツールの実行内容を提示するWebポータルを組み合わせたプラットフォームを提案する。個々の授業の要件に合わせて構成できる。評価対象はシステムの品質とエッジデバイスへの導入であり、学習成果は評価していない。GPUを用いた評価では、資料を参照しない回答生成、検索拡張生成(RAG)、Calculatorの実行、2種類の教師ありファインチューニング(SFT)を含む7通りの構成を、授業に関する96問で比較した。別の24問ではBaseとBase+RAGを比較した。Base + Tool-Augmented RAGが最も高く、採点基準に基づく0–1の尺度で平均0.777点を得た。検索は出典が重要な設問の平均点を改善した。Calculatorで対応可能と事前分類した24問では、決定論的な計算ツールの実行による改善が最も明確だった。いずれのSFTも、対応するBase構成を上回らなかった。同じ96問を両機器で評価したBase構成の対応比較では、GPUとPiのどちらか一方の得点が高くなる傾向は検出されなかった。同じ量子化済みモデルの実行には、Piの方が時間を要した。