Open Source Chatbot der Einwohnerdienste
Das IPST entwickelte als Pilotprojekt (Proof-of-Concept) einen Open Source Chatbot für die Stadt Bern. Basierend auf RAG-Technologie beantwortet er Fragen zu Rechtsdokumenten – datenschutzkonform, transparent und kostengünstig.
Steckbrief
- Beteiligte Departemente Wirtschaft
- Institut(e) Institut Public Sector Transformation (IPST)
- Strategisches Themenfeld Themenfeld Humane Digitale Transformation
- Laufzeit (geplant) 01.09.2024 - 31.01.2025
- Projektleitung Prof. Dr. Matthias Stürmer
-
Projektmitarbeitende
Luca Sven Rolshoven
Lara Burkhalter - Partner Informatik Stadt Bern
- Schlüsselwörter Open Source, Chatbot, RAG, Retrieval-Augmented Generation, LLM, Datenschutz, Public Sector, Sprachmodell, Haystack, Streamlit, Wissensdatenbank, Stadt Bern, Llama, Künstliche Intelligenz
Ausgangslage
Die Stadt Bern benötigte eine Lösung, um Mitarbeitende bei der Beantwortung von Fragen zu komplexen Rechtsdokumenten – etwa im Ausländer- und Migrationsbereich – effizient zu unterstützen. Bestehende proprietäre KI-Lösungen sind aufgrund Datenschutzbedenken eingeschränkt, da sensible Dokumente nicht auf externen Servern verarbeitet werden dürfen. Das Institut Public Sector Transformation (IPST) der Berner Fachhochschule wurde deshalb beauftragt, einen Proof of Concept (PoC) für einen datenschutzkonformen, transparenten und kosteneffizienten Chatbot auf Basis von Open Source Technologien und frei verfügbaren KI-Modellen zu realisieren.
Vorgehen
Das IPST-Team entwickelte einen RAG-Dienst (Retrieval-Augmented Generation), der eine Wissensdatenbank aus 296 Dokumenten (3932 Seiten, rund 1.3 Millionen Wörter) nutzt. Technisch kamen das Open Source Frontend Framework Streamlit sowie das KI Backend Framework Haystack zum Einsatz. Drei Sprachmodelle wurden eingesetzt: ein Embedding-Modell (Snowflake Arctic Embed 2.0), ein Reranker (BAAI/bge-reranker-v2-m3) und ein generatives LLM (Llama-3.3-70B-Instruct). Suchanfragen werden sowohl lexikografisch (BM25) als auch semantisch (Vektor-Embeddings) verarbeitet und durch Contextual Retrieval verbessert. Der Chatbot unterstützt Follow-up-Fragen und zeigt Quellen transparent an. Die Evaluation erfolgte qualitativ durch eine Anwältin (Lara Burkhalter) sowie quantitativ mit automatisierten Metriken (Mean Average Precision MAP, Mean Reciprocal Rank MRR, Normalized Discounted Cumulative Gain nDCG und Recall für Retrieval; Answer Relevancy und Faithfulness für die Antwortgenerierung).
Ergebnisse
Der Chatbot liefert in der qualitativen Evaluation sehr zufriedenstellende Ergebnisse: Antworten sind grösstenteils korrekt und die Quellenangaben präzise. Besonders hervorzuheben ist die Fähigkeit, Zusammenhänge zwischen verschiedenen Dokumenten zu erkennen und korrekt zu synthetisieren. In der automatisierten Evaluation erzielte das gewählte Setup (Top-K Sparse: 20, Top-K Reranker: 7) einen Recall von 0.73 und einen nDCG von 0.46. Das eingesetzte LLM Llama-3.3-70B-Instruct erzielte eine Answer Relevancy von 0.92 und eine Faithfulness von 0.92. Der Open-Source-Ansatz gewährleistet vollständige Datensouveränität, da alle Daten auf eigenen Servern der Stadt Bern verarbeitet werden können. Die Lösung ist transparent, erweiterbar und mit niedrigen, kalkulierbaren Betriebskosten verbunden.
Ausblick
Für einen produktiven Einsatz empfiehlt das IPST-Team mehrere Weiterentwicklungen: Eine zentrale, kategorisierte Dokumentenliste soll die automatische und periodische Aktualisierung der Wissensdatenbank ermöglichen. Zudem wird ein agentischer Workflow vorgeschlagen, bei dem der Chatbot autonom zwischen verschiedenen Tools – etwa FAQ-Abfragen oder eingeschränkten Websuchen – wählen kann. Grundvoraussetzung für einen zuverlässigen Betrieb bleibt die Aktualität der Datenbasis: Veraltete Dokumente müssen regelmässig entfernt und neue zeitnah integriert werden. Neue, leistungsstärkere KI-Modelle können dank der modularen Architektur jederzeit eingebunden werden.
