AI ChatBot für MIL Office Support
Ausgangslage und Ziele
Die Fachapplikation MIL Office wird vom Eidgenössischen Departement für Verteidigung, Bevölkerungsschutz und Sport (VBS) in allen Schulen und Wiederholungskursen eingesetzt und unterstützt dabei, administrative Aufgaben für hunderttausende Militärangehörige zu bewältigen.
Die tägliche Nutzung von MIL Office führt zu einer Vielzahl von Support-Anfragen, die aktuell durch das Supportteam per E-Mail und telefonisch bearbeitet werden müssen, was einen erheblichen Arbeitsaufwand verursacht.
Um die Belastung des Supportteams signifikant zu reduzieren, wurde nach Möglichkeiten gesucht. Angesichts der zunehmenden Reife von KI-Systemen entschieden sich die Verantwortlichen für einen zeitlich und finanziell begrenzten Pilotversuch.
Das Hauptziel dieses Versuchs bestand darin, zu prüfen, ob der Einsatz künstlicher Intelligenz und maschinell generierter Antworten dazu beitragen kann, die Supportlast effektiv zu verringern.
Lösungsansatz
Für das Pilotprojekt wurde eine unabhängige Pilotumgebung für eine webbasierte Chat-Oberfläche auf der Azure Plattform aufgebaut.
Der ChatBot wurde mittels Retrieval Augmented Generation (RAG) auf der Basis von Azure Open AI implementiert. Bei diesem Ansatz werden Abfrage-basierte Techniken mit generativen KI-Modellen kombiniert.
In einem RAG-basierten KI-System wird ein Abfragemodell verwendet, um relevante Informationen aus vorhandenen Informationsquellen zu finden. Das generative Modell nimmt die abgefragten Informationen auf, fasst die gefundenen Daten zusammen und formt sie in eine verständliche und kontextbezogene Antwort um. Dadurch können die immensen Möglichkeiten der heute zur Verfügung stehenden Large Language Models (LLM) mit den im Unternehmen vorhandenen Informationen genutzt werden - ohne dass diese mittels Training in das KI-Modell integriert werden müssen.
Für die technische Realisierung wurde auf der Azure-Umgebung des Bundesamts für Informatik und Telekommunikation (BIT) je eine Entwicklungs- und Produktions-Umgebung aufgebaut.
Dazu wurden "Infrastructure-as-Code" (IaC) basierte Templates verwendet und zusätzlich ein Monitoring, Kostenmanagement und verschiedene Sicherheitsfunktionalitäten implementiert.
Der Suchindex wurde aus vorhandenen Endanwenderdokumenten wie beispielsweise Benutzerhandbücher, Reglemente, Release-Notes und Schulungsunterlagen erstellt.
Für die Qualitätsevaluierung wurden in mehreren Workshops Beispielfragen mit den Experten und Modulverantwortlichen der Anwendung erarbeitet. Diese Fragen wurden der Anwendung zur Beantwortung gegeben und die generierten Antworten wurden in Bezug auf Korrektheit und Vollständigkeit bewertet.
In mehreren Iterationen wurde das System optimiert und die Antwortqualität sukzessive verbessert. Während des Pilotbetriebs erfolgte zusätzlich eine Bewertung der Antworten durch die Nutzer.
Vereinfachte Darstellung der erstellten Lösung
Chatbot für Verbesserung des Supports
Nachstehende Herausforderungen wurden während des Projekts erfolgreich gemeistert:
Sehr kurze Vorlaufzeit und begrenztes Budget für den Aufbau des Pilotsystems auf der Azure-Plattform vom BIT
Fachexperten und Projektbeteiligte wurden schrittweise an das Vorgehensmodell und die Aufgabenstellungen herangeführt und begleitet.
Erfolgreiche Durchführung des Pilotversuches.
Die Bewertungsprozesse und Tools für die Bewertung des KI-basierenden Systems wurden kundenspezifisch aufgebaut, um eine objektive und nutzwertbasierende Evaluation zu gewährleisten.
Kundennutzen und Ergebnisse
In sehr kurzer Zeit hat Nexplore ein komplexes System mit modernsten KI-Technologien aufgebaut, ausgemessen, optimiert und für die Pilotnutzer bereitgestellt.
Der Pilotversuch hat aufgezeigt, dass das System wie erwünscht funktioniert und der MIL-Office-Support entlastet wird.
In MIL Office-Modulen, die mit umfassenden Handbüchern und Anwendungsleitfäden dokumentiert sind, konnten sehr gute Ergebnisse erzielt werden. Bei Modulen mit weniger guter Dokumentation, war die Antwortqualität deutlich schlechter.
Die hervorragende interdisziplinäre Zusammenarbeit innerhalb des Projektteams - bestehend aus Experten und Expertinnen vom Kommando Ausbildung des VBS, der Betreiberin (BIT), Microsoft Schweiz und Nexplore - hat diesen Projekterfolg ermöglicht.
Vielfältige Lösungen von Nexplore ermöglichten den Projekterfolg
Verwendete Technologien und Vorgehensweisen
Ein entscheidender Faktor für den Erfolg des Projekts war der schnelle, einfache und kosteneffiziente Aufbau der Pilotumgebung. Diese sollte neben der Webapplikation auch die neuesten KI-Modelle bereitstellen.
Für die Architektur wurden folgende Komponenten ausgewählt und erfolgreich implementiert:
Microsoft Azure - Cloudplattform mit Datenzentren in der Schweiz. Applikationen und Daten werden in der Schweiz betrieben.
Azure Dienste für die Webapplikation mit Azure App Service und Cosmos DB.
Azure AI Vision für die Aufbereitung der Dokumente.
Azure AI Search für die Speicherung der aufbereiteten Dokumente.
Azure Open AI - stellt die neusten, besten Modelle von OpenAI wie gpt3 und gpt4 bereit. Der Zugriff darauf erfolgt direkt im Azure Tenant des Kunden.
Dank Infrastructure as Code (IaC) konnten die Pilotumgebungen für die Entwicklung und die Produktion schnell und einfach erstellt werden.
Klassifikation und Auswahl der Daten
Im Rahmen des Pilotprojekts wurden ausschließlich frei zugängliche Dateninhalte verwendet, wie beispielsweise Benutzerhandbücher, Release Notes und Schulungsunterlagen
