Chatbot open source services habitants
Dans le cadre d'un projet pilote, l'IPST a développé un chatbot open source pour la ville de Berne. Basé sur la technologie RAG, il répond à des questions juridiques – de façon transparente, sécurisée et économique.
Fiche signalétique
- Départements participants Gestion
- Institut(s) Institute for Public Sector Transformation
- Champ thématique stratégique Champ thématique "Transformation numérique centrée sur l'humain"
- Durée (prévue) 01.09.2024 - 31.01.2025
- Direction du projet Prof. Dr. Matthias Stürmer
-
Équipe du projet
Luca Sven Rolshoven
Lara Burkhalter - Partenaire Informatik Stadt Bern
- Mots-clés Open Source, chatbot, RAG, Retrieval-Augmented Generation, LLM, protection des données, secteur public, modèle linguistique, Haystack, Streamlit, base de connaissances, ville de Berne, Llama, intellig
Situation
La ville de Berne avait besoin d’une solution pour aider efficacement ses collaborateurs à répondre à des questions portant sur des documents juridiques complexes, notamment dans le domaine des étrangers et de la migration. Les solutions d’IA propriétaires existantes sont limitées en raison de préoccupations liées à la protection des données, car les documents sensibles ne peuvent pas être traités sur des serveurs externes. L’Institut Public Sector Transformation (IPST) de la Haute école spécialisée de Berne a donc été chargé de réaliser une preuve de concept (PoC) pour un chatbot conforme à la protection des données, transparent et économique, basé sur des technologies open source et des modèles d’IA librement accessibles.
Approche
L'équipe IPST a développé un service RAG (Retrieval-Augmented Generation) qui exploite une base de connaissances composée de 296 documents (3 32 pages, environ 1,3 million de mots). Sur le plan technique, le framework open source Streamlit a été utilisé pour l'interface utilisateur, tandis que le framework d'IA Haystack a été utilisé pour le backend. Trois modèles linguistiques ont été utilisés : un modèle d’embedding (Snowflake Arctic Embed 2.0), un reranker (BAAI/bge-reranker-v2-m3) et un LLM génératif (Llama-3.3-70B-Instruct). Les requêtes de recherche sont traitées à la fois de manière lexicographique (BM25) et sémantique (représentations vectorielles) et optimisées par la recherche contextuelle. Le chatbot prend en charge les questions de suivi et affiche les sources de manière transparente. L’évaluation a été réalisée de manière qualitative par une avocate (Lara Burkhalter) ainsi que de manière quantitative à l’aide de métriques automatisées (Mean Average Precision MAP, Mean Reciprocal Rank MRR, Normalized Discounted Cumulative Gain nDCG et Recall pour la recherche ; Answer Relevancy et Faithfulness pour la génération de réponses).
Résultat
Le chatbot donne des résultats très satisfaisants lors de l'évaluation qualitative : les réponses sont en grande partie correctes et les références précises. Il convient de souligner tout particulièrement sa capacité à identifier les liens entre différents documents et à les synthétiser correctement. Lors de l'évaluation automatisée, la configuration choisie (Top-K Sparse : 20, Top-K Reranker : 7) a atteint un recall de 0,73 et un nDCG de 0,46. Le LLM utilisé, Llama-3.3-70B-Instruct, a atteint une pertinence des réponses (Answer Relevancy) de 0,92 et une fidélité (Faithfulness) de 0,92. L’approche open source garantit une souveraineté totale sur les données, puisque toutes celles-ci peuvent être traitées sur les propres serveurs de la ville de Berne. La solution est transparente, évolutive et associée à des coûts d’exploitation faibles et prévisibles.
Perspectives
Für einen produktiven Einsatz empfiehlt das IPST-Team mehrere Weiterentwicklungen: Eine zentrale, kategorisierte Dokumentenliste soll die automatische und periodische Aktualisierung der Wissensdatenbank ermöglichen. Zudem wird ein agentischer Workflow vorgeschlagen, bei dem der Chatbot autonom zwischen verschiedenen Tools – etwa FAQ-Abfragen oder eingeschränkten Websuchen – wählen kann. Grundvoraussetzung für einen zuverlässigen Betrieb bleibt die Aktualität der Datenbasis: Veraltete Dokumente müssen regelmässig entfernt und neue zeitnah integriert werden. Neue, leistungsstärkere KI-Modelle können dank der modularen Architektur jederzeit eingebunden werden.
