Siheng Yecarnet d’ingénierie

Intelligence embarquée · IHCI 2026 · Article 106

Assistant d’ingénierie sur Raspberry Pi 5

Un assistant de cours qui affiche ses sources et les étapes de ses calculs.

Siheng Ye · Xiaotong Li · Chang Qi · Linfei Yin · Yaokun Zhang · Ian Pratt

Génie électrique et électronique
University of Nottingham Ningbo China

Article accepté pour présentation orale à IHCI 2026. La version définitive remise par les auteurs en septembre 2026 est disponible.

Évaluation hors ligne96 questions

Les scores moyens de sept configurations ont été comparés sur un GPU de référence, selon un barème de 0 à 1.

Meilleur résultat sur GPU0.777 / 1

Avec Base + Tools, 54 réponses sur 96 ont été jugées entièrement correctes selon le barème de l’étude.

Essai distinct sur le CPU du Pi 50.498 / 1

Seule la configuration Base, sans accès aux documents, a été testée ici. Une comparaison directe avec Base + Tools exigerait la même configuration sur les deux appareils.

Présentation du projet

Même une réponse bien formulée peut s’appuyer sur un document inadéquat ou contenir une erreur de calcul. Le prototype associe un modèle compact Qwen3-1.7B quantifié sur quatre bits à la recherche dans les supports de cours et à des outils de calcul déterministe.

Ask affiche les sources ou le détail du calcul à côté de la réponse. Dans Quiz, l’utilisateur répond d’abord, puis reçoit une correction et les sources qui l’étayent. La plateforme est conçue pour Raspberry Pi 5. L’évaluation distingue les composants du système et les appareils utilisés.

Matériel du prototype Raspberry Pi 5 et fonctionnement d’Ask et Quiz
Article 106 · matériel et fonctionnement d’Ask et Quiz.Image complète

Résultats et portée

Lors de l’évaluation principale, nous avons comparé sept configurations hors ligne sur un GPU de référence à partir de 96 questions de génie électrique et électronique. Le tableau donne, pour chacune, le score moyen sur une échelle de 0 à 1 et le nombre de réponses jugées entièrement correctes selon le barème de l’étude.

Évaluation de référence sur GPU, hors ligne · 96 questions de génie électrique et électronique
ConfigurationScore moyenRéponses entièrement correctes
Base (sans documents)0.50328 / 96
Base + RAG0.55534 / 96
Base + Tools0.77754 / 96
SFT initial (sans documents)0.43825 / 96
SFT initial + Tools0.75052 / 96
SFT étendu (sans documents)0.40821 / 96
SFT étendu + Tools0.58439 / 96

Le RAG associe génération et recherche documentaire. Le SFT désigne l’ajustement supervisé d’un modèle préentraîné. Les scores sont des notes sur un barème et ne mesurent pas un taux de bonnes réponses. Dans la configuration Base + Tools, une calculatrice déterministe traite les opérations qu’elle prend en charge, et le système utilise la recherche documentaire pour les autres demandes. Les résultats mis en avant sur GPU (Base + Tools) et sur Pi (Base sans documents) correspondent à des configurations différentes et ne permettent pas de comparer directement les deux appareils.

Pour comparer les appareils à configuration identique, nous avons exécuté Base sans documents sur le GPU et sur le Pi, avec le même modèle quantifié et les mêmes 96 questions. Le score moyen est de 0,503 sur GPU et de 0,498 sur Pi. L’écart moyen (Pi − GPU) est de −0,005, avec un intervalle à 95 % de −0,041 à +0,032. Ce résultat ne suffit pas à établir une qualité de réponse équivalente.

Sur un jeu distinct de 24 questions pour lesquelles les sources comptent, Base+RAG obtient un score moyen de 0,779, contre 0,325 pour Base sans documents, soit +0,454 en moyenne. Pour le nombre de réponses entièrement correctes, le test avec correction de Holm donne p = 0,0625, au-dessus du seuil de 0,05. Sur 24 questions identifiées au préalable comme relevant de la calculatrice, Base+Tools améliore le score moyen de +1,000 par rapport à Base+RAG. Aucune des deux méthodes de SFT testées ne dépasse la configuration Base correspondante.

Les auteurs ont revu les notes attribuées avec l’aide de l’IA. Il n’y a pas eu de validation indépendante en aveugle. Les observations sur l’appareil et les démonstrations de l’interface Web sont présentées séparément. L’étude n’a pas évalué les effets sur l’apprentissage, la facilité d’utilisation ni la fiabilité de bout en bout de l’application Web. Afficher une source ou le détail d’un calcul aide à vérifier la réponse, sans en garantir l’exactitude.

Documents

Cette version des auteurs est partagée selon les conditions de partage de Springer Nature . Il ne s’agit pas de la version officielle de l’éditeur (Version of Record).

Poster complet de l’exposition. Ouvrir le PDF pour le lire en haute résolution. (Anglais)
Poster soumis à l’exposition de recherche de la FoSE · 2026
Ouvrir le poster complet (Anglais)

Code source public

Le dépôt public contient le code de l’application, des outils de recherche documentaire et de calcul, ainsi que des exemples génériques et des instructions d’installation. Il ne contient ni les supports de cours privés, ni les jeux d’évaluation à accès restreint, ni les poids du modèle, ni la configuration de déploiement. Pour exploiter pleinement Ask et Quiz, il faut un corpus autorisé, des index déjà construits et un environnement compatible avec le modèle.

Dépôt et instructions d’installation

Travaux de recherche

A Lightweight Test and Training Platform Utilizing a Raspberry Pi 5: AI-retrieval, Tools and a Compact LLM

IHCI 2026 · Article 106 · Accepté pour présentation orale.

Cette notice et sa référence bibliographique reprennent le titre du certificat et du programme officiel d’IHCI 2026. La version finale d’auteur de septembre conserve son titre d’origine « A Test and Training Platform Utilizing a Raspberry Pi 5: AI-Retrieval, Tools and a Compact LLM ». Session prévue au programme le 30 octobre 2026, de 15 h 30 à 16 h 30 · SS2 · IEB 124 · Ningbo (UTC+8). La publication dans les actes, le DOI et l’indexation restent à confirmer.

Résumé de l’article

Les assistants généralistes à base de modèles de langage s’adaptent difficilement aux supports d’un cours donné. Nous présentons une plateforme pour Raspberry Pi 5 qui associe un modèle compact Qwen3-1.7B, une recherche dans les supports de cours et un outil de calcul déterministe. Un portail Web affiche les réponses, les éléments qui les étayent et le détail des opérations effectuées. La plateforme est configurable selon les besoins du cours. L’étude évalue la qualité du système et son déploiement sur un appareil embarqué. Les acquis des étudiants n’ont pas été évalués. Nous avons comparé sept configurations sur GPU à partir de 96 questions de cours. L’évaluation couvre la génération sans documents, la génération augmentée par recherche documentaire (RAG), le recours à la calculatrice et deux méthodes d’ajustement supervisé (SFT). Base et Base+RAG ont également été comparés sur un jeu distinct de 24 questions. La configuration Base + Tool-Augmented RAG obtient le meilleur score moyen, 0,777 sur une échelle de 0 à 1. La recherche documentaire améliore le score moyen sur les critères qui dépendent des sources. L’apport de la calculatrice déterministe est le plus net sur les 24 questions identifiées au préalable comme relevant de cet outil. Aucune des deux méthodes de SFT n’améliore le score par rapport à la configuration Base correspondante. La comparaison appariée de la configuration Base sur 96 questions ne met pas en évidence de différence de score en faveur de l’un des appareils. Le Pi exécute le même modèle quantifié plus lentement.