Externe versus interne Quellen

LLM-Werkzeuge wie ChatGPT bieten einen einfachen Zugang zu einem breiten Spektrum von öffentlich zugänglichen Datenquellen. Wesentliche Komponente ist die natürlich-sprachige Benutzerschnittstelle (NLP Natural Language Processing), die einfache Fragen und Dialoge mit der Software ermöglicht. Grundlage für die Antworten und generierten Texte (Grafiken, Bilder, Videos etc.) ist in der Regel ein antrainierter Informationsbestand auf Basis öffentlich zugänglicher Inhalte. Dieser kann auch dynamisch durch Erschließung aktueller Web-Quellen ergänzt sein. Qualität, Originalität, Akkuratesse, Richtigkeit, Urheber und Vertrauenswürdigkeit bleiben hierbei jedoch auf der Strecke. Es lohnt sich eigentlich nur, allgemeine Wissensthemen abzufragen. Die Ergebnisse sind nicht präzis und relevant für die fachspezifischen Anforderungen einer Organisation ausgelegt, da sie nicht auf den eigenen, internen und nicht öffentlich zugänglichen Informationen der Organisation aufsetzen. Dies ist ein wesentlicher Unterschied zwischen den öffentlichen Werkzeugen und dem internen Einsatz von KI-Software-Tools.

Der Einsatz von solchen Werkzeugen organisationsintern auf Basis eigener Prozesse, Daten und Informationen bietet Unternehmen die Möglichkeit, maßgeschneiderte Lösungen zu entwickeln, die genau auf ihre spezifischen Anforderungen zugeschnitten sind. KI-Werkzeuge stellen so den nächsten Schritt der Informationserschließung nach BI Intelligence, Big Data Analytics, Automatic Classification, RPA Robotic Process Automation, Enterprise Search und IIM Intelligent Information Management dar. Je nach genutzten Quellen ist die Qualität der Ergebnisse besser und verlässlicher als beim Einsatz eines Internet-Daten-basierten Tools. Besonders Zugriffsschutz, Datensicherheit, Datenschutz, Nachvollziehbarkeit, Aktualität, Richtigkeit und andere Kriterien einer ganzheitliche Information Management & Information Governance Lösung können hier erfüllt werden. Die Betonung liegt auf „können“, denn dazu müssen die Informationen geeignet und auch entsprechend vorbereitet sein. Letztlich sprechen wir hier über spezialisierte KI-Anwendungen und nicht über eine Universelle Künstliche Intelligence. Besonders können Ergebnisse wenig befriedigend aussehen, wenn die verwendete Informationsbasis sehr gleichförmig ist. Es gilt also zu definieren, welche Art von Information als Wissen für welchen Zweck und für welche Benutzergruppe erschlossen werden soll. Dies kann durch aus zu unterschiedlichen Anwendungen mit unterschiedlichen Informationsbasen führen, wenn man sich verschiedene Nutzungsmodelle vor Augen hält: Texte für Marketing und Internet werden sich deutlich von Wissen über Patente und Forschungsergebnisse wie auch rechtlichen und regulativen Dokumentationen unterscheiden. Es geht also nicht nur darum, ein LLM-Werkzeug auf die internen Daten „loszulassen“ sondern im Rahmen eines ganzheitlichen Informationsmanagements zweckgerichtet interne Lösungen anzupassen. Hieraus leiten sich dann auch besondere Anforderungen an das einzusetzende Werkzeug ab, dass nicht nur trainierbar sein muss, sondern selbstlernend entsprechend den Nutzerdialogen sich weiterentwickelt und dabei dennoch die Compliance- und Datenschutz-Anforderungen einhält. Es gibt so gesehen eine ganze Reihe von Herausforderungen, die bei Wahl, Einsatz, Pflege und Nachhaltung zu berücksichtigen sind. Man darf sich hier nicht durch die Einfachheit der Benutzerschnittstelle täuschen lassen – die eigentliche Arbeit findet im Informationsmanagement im Untergrund statt.

Herausforderungen für den internen Einsatz von KI-/LLM-Werkzeugen

Zu den Herausforderungen des Einsatzes von KI- und besonders LLM-Werkzeugen als Varianten einer Künstlichen Intelligenz kann man auch ein LLM selbst befragen (OpenAI ChatGPT, Version 3.0, 10.12.2022; nacheditiert und formatiert):

„Der Einsatz von KI- und Large Language Models (LLM)-Werkzeugen auf eigenen Informationen innerhalb eines Unternehmens birgt eine Reihe von Herausforderungen, die es zu bewältigen gilt. Zu den 10 wichtigsten Herausforderungen gehören:

1. Datenqualität und -integrität:
   Die Qualität und Integrität der internen Daten sind entscheidend für die Genauigkeit und Zuverlässigkeit der KI- und LLM-Modelle. Inkonsistente, unvollständige oder fehlerhafte Daten können zu verzerrten Ergebnissen führen.
   
   
2. Datenschutz und Compliance:
   Der Einsatz von KI- und LLM-Werkzeugen erfordert eine sorgfältige Berücksichtigung von Datenschutz- und Compliance-Vorschriften, insbesondere wenn es um sensible oder personenbezogene Daten geht. Unternehmen müssen sicherstellen, dass sie die geltenden Gesetze und Richtlinien einhalten und die Privatsphäre ihrer Mitarbeiter und Kunden respektieren.
   
   
3. Mangelnde Transparenz:
   KI- und LLM-Modelle können oft als „Black Box“ fungieren, was bedeutet, dass ihre Entscheidungsprozesse für Menschen schwer nachvollziehbar sind. Dies kann zu Vertrauensproblemen führen und die Akzeptanz der Modelle innerhalb des Unternehmens beeinträchtigen.
   
   
4. Erklärbarkeit von Entscheidungen:
   Es ist wichtig, dass die Entscheidungen, die von KI- und LLM-Modellen getroffen werden, erklärt und nachvollzogen werden können. Unternehmen müssen sicherstellen, dass sie die Logik und das Verhalten ihrer Modelle verstehen und interpretieren können.
   
   
5. Bias und Diskriminierung:
   KI- und LLM-Modelle können anfällig für Bias und Diskriminierung sein, insbesondere wenn sie auf ungleichen oder voreingenommenen Daten trainiert werden. Unternehmen müssen sicherstellen, dass ihre Modelle fair und ausgewogen sind und keine unerwünschten Vorurteile enthalten.
   
   
6. Fachkräftemangel:
   Der Einsatz von KI- und LLM-Werkzeugen erfordert spezialisiertes Fachwissen und technisches Know-how, das in vielen Unternehmen möglicherweise nicht vorhanden ist. Der Mangel an qualifizierten Fachkräften kann die Einführung und den Betrieb dieser Technologien behindern.
   
   
7. Skalierbarkeit und Ressourcenbedarf:
   Die Skalierung von KI- und LLM-Anwendungen innerhalb eines Unternehmens kann eine Herausforderung darstellen, da sie oft erhebliche Rechen- und Speicherressourcen erfordern. Unternehmen müssen sicherstellen, dass sie über ausreichende Ressourcen verfügen, um den Einsatz dieser Technologien zu unterstützen.
   
   
8. Integration mit bestehenden Systemen:
   Die Integration von KI- und LLM-Werkzeugen in bestehende IT-Systeme und Geschäftsprozesse kann komplex sein und erfordert oft umfangreiche Anpassungen und Schnittstellenentwicklung.
   
   
9. Risikomanagement:
   Der Einsatz von KI- und LLM-Technologien birgt bestimmte Risiken, darunter das Risiko von Fehlern, Ausfällen oder Missbrauch. Unternehmen müssen angemessene Risikomanagementstrategien entwickeln, um diese Risiken zu identifizieren, zu bewerten und zu minimieren.
   
   
10. Kulturelle und organisatorische Herausforderungen:
    Die Einführung von KI- und LLM-Technologien kann kulturelle und organisatorische Veränderungen erfordern und auf Widerstand stoßen. Unternehmen müssen die Mitarbeiter aufklären, schulen und unterstützen, um eine reibungslose Integration und Akzeptanz sicherzustellen.“

Das Ergebnis von ChatGPT ist erstaunlich gut und recht vollständig. Letztlich heißt dies, dass sich mit dem Thema schon mehrfach Autoren auseinandergesetzt haben, deren Beiträge in den ChatGPT-Trainingsbestand aus 2021 gelangt sind. Gut besonders an der Antwort ist, dass auch menschliche Faktoren und kulturelle Fragen Eingang gefunden haben. Geht man ins Detail ergeben sich noch zahlreiche weitere Herausforderungen, die bedingt sind durch die Gegebenheiten der Organisation, deren Tätigkeit, deren Informationsbasen und den an gestrebten Nutzungsmodellen. Hier unterscheiden sich die Anforderungen und Voraussetzungen in den verschiedenen Unternehmen sehr stark. Die Einsatzmöglichkeiten eines LLM als generative KI wird durch die Fragestellungen an Information und Wissen sowie durch die zur Verfügung stehenden Datenbasen bestimmt.

Wo kann KI Künstliche Intelligenz Information Management und Information Governance unterstützen?

Bereits seit Jahrzehnten ist das Thema Automatisierung für Dokumentenmanagement, Enterprise Content Management und Wissensmanagement ein wichtiges Einsatzargument- Bisherige Techniken wie regelbasierte Workflows oder manuell antrainierte Klassifikation können durch KI Künstliche Intelligenz, besonders in Verbindung mit Machine Learning (ML) hier wesentliche Vereinfachungen und neue Anwendungsfelder bringen. Dies trägt zu besserer Informationsqualität, schnellerer Informationsverarbeitung  und -erschließung, komfortabler Abfrage und Bereitstellung von Wissen und trägt damit letztlich höherer Effizienz und größerem Wert der Information bei. Gerade angesichts des Wachstum von Information in allen Organisationen und im Internet, kommt einer ganzheitlichen Information-Management- und Information-Governance-Strategie besondere Bedeutung zu. KI-Methoden und -Werkzeuge schaffen einerseits viele neue Möglichkeiten einer verbesserten Informationsnutzung, bergen aber daneben auch neue Risiken eines möglichen Mißbrauchs. Daher müssen neue KI-Methoden mit stringenten Methoden und Verfahren des Informationsmanagements und der Information Governance zusammenarbeiten.

Anwendungsfelder für den Einsatz von KI, ML und auch Werkzeugen wie LLMs gibt es im Informationsmanagement zahlreiche.

Im Dokumentenmanagement und in der elektronischen Archivierung gehärt die automatisierte Extraktion von Metadaten und die automatische Klassifikation bei der Erfassung von Informationsobjekten zu den klassischen Anwendungsfällen. Die automatisierte Erkennung und Extraktion relevanter Informationen aus unstrukturierten Dokumenten wie auch die Generierung von Volltexten aus Bilddokumenten schafft die Grundlage für eine Erschließung mit Natural-Language-Processing-NLP-Anwendungen wie LLM Large Language Models für Analyse, Verarbeitung, Erschließung und Neuaufbereitung. Auch lassen sich hier mit Predictive Analytics (PA) Vorhersagen zu Informationsbedarf, Informationsnutzung und notwendiger Informationserfassung ableiten. Der Einsatz von KI bei der Qualitätsverbesserung von OCR-/ICR-Ergebnissen (Optical Character Recognition, Intelligent Character Recognition) ist ein Standardanwendungsfeld.

Bei der Automatisierung des Records Managements (siehe auch den Artikel „Records Management & Automation“ aus dem Jahr 2014 https://project-consult.theum.com/essentials/index.htm?t=Teams-Artikel-Articles,2014,ulrich-kampffmeyer—records-management—automation–20141015,records-management—automation) kommen ähnliche Ansätze wie bei Dokumentenmanagement zum Tragen. Beim Records Management entsteht eine neue Qualität durch die Kombination von Metadaten und Ordnungsstrukturen die zusammen mit Volltexten durch LLM gemeinsam erschlossen und sauber aufbereitete Ergebnisses präsentiert werden. Hinzu kommen beim Records Management wesentliche Governance-, Compliance-, Datenschutz-, Datensicherheit- und andere regulative und rechtliche Anforderungen. Für die Einhaltung der DSGVO (Datenschutz-Grundverordnung) können in Erfassungsprozessen KI-basierte Analyse- und Auswertungsmechanismen verwendet werden, die Informationsobjekte mit personenbezogenen Daten herausfiltern und mit besonderen Schutzmerkmalen versehen. Künstliche Intelligenz kann auch bei der Identifikation von Schwachstellen und Risiken die Informationssicherheit stärken. LLM Large Language Models können die Nutzung von – häufig sehr kompliziert mit Metadaten und tiefen Strukturen aufgebauten – Records-Management-Systemen erheblich erleichtern und so auch eine Nutzungsmöglichkeit für Mitarbeiter:innen schaffen, die sich nicht täglich mit der Records-Management-Disziplin befassen.

Den größten Nutzen des Einsatzes von KI dürfte es im Wissensmanagement geben. Große Mengen digital vorliegender Information können durch LLM und andere Technologien verdichtet, erschlossen, qualitativ bewertet, zusammengefasst und verständlich Anwendern im Dialog bereitgestellt werden. Das System erlernt dabei die Fragestellungen individueller Nutzer, bereitet Information für die nächsten Interaktionen mit Maschinenlernen und Vergleich bisheriger Ergebnisse auf und kann letztlich so proaktiv vorausschauend auch automatisiert dem Anwender „ungefragt“ benötigte Information anbieten. Auch Anwendungen auf Wissensbasen, die bisher nur mit sehr großem Aufwand und vielen Einschränkungen umsetzbar waren wie z.B. die Erstellung von Wissensgraphen, Ontologien und Bewertungssystemen, lassen sich mit KI-Unterstützung nun relativ einfach umsetzen. Die Fähigkeiten von LLMs natürlich-sprachig, sauber aufbereitet, gut strukturiert und bedarfsgerecht Information in Texte, Grafiken und Auswertungen aufzubereiten, senkt die Hemmschwellen für die Nutzung elektronischer Information und entlastet Mitarbeiter bei Routine-Tätigkeiten z.B. bei Recherchen, im Berichtswesen und der Dokumentation. Die parallele Entwicklung von Übersetzungswerkzeugen und deren Integration i n LLM-Software ermöglicht zudem die Erschließung und Nutzung fremdsprachiger Information. Damit erweitert sich die  nutzbare Menge an Information um ein Vielfaches. Die Kombination von LLM, ML, NLP und Übersetzung stellt eine neue Qualität für Wissensmanagement, aber auch für die Collaboration in Teams mit Nutzern unterschiedlicher Herkunft dar. Generative Künstliche Intelligenz erlaubt es auch, den Stil und Inhalt auf die besonderen Anforderungen spezieller Gruppen oder Anwender anzupassen, dass deren Wissensstand und Themenverständnis adäquat bedient wird. Salopp (nicht diskriminierend gemeint) „Intelligente Spezialwissensaufbereitung für die Nutzung durch Dummies“ in einfacher Sprache. Bei all diesen neuen Erschließungsmöglichkeiten kommt eine besondere Bedeutung der „Sauberkeit“, die Richtigkeit, der genutzten Informationsbasen zu, die von einem ganzheitlichen Informationsmanagement aktuell, nachvollziehbar und mit hoher Qualität bereitgestellt werden müssen.

Für die Automatisierung und Optimierung von unternehmensinternen Prozessen kamen über die letzten Jahrzehnte unterschiedliche Verfahren zum Einsatz – von der manuellen Optimierung über sich selbst optimierende Prozesse auf Basis der Nutzung bis hin zu aktuellen RPA Robotic Process Automation. Hier vollzieht sich der Wandel vom „automatischen Nachmachen“ der Prozesse, die ein Mensch durchführt, hin zu dem Einsatz von Künstlicher Intelligenz. Hier sind generative LLM weniger gefragt, da es mehr um logische, nachvollziehbare Entscheidungen auf Basis konkreter Information geht. Jedoch können auch hier LLM im Berichtswesen, bei der Zusammenfassung größer Textbestände, Kombination von Textbausteinen, Sentiment-Analyse von eingehender Kundenkorrespondenz, automatisierten Antwortsystemen in der Kommunikation und vielen anderen Feldern geben. KI unterstützt bereits heute Process-Automation-Systems bei Analyse, Optimierung, Neu-Design und Protokolldatenauswertung. Dies erlaubt die Simulation von Prozessen und Optimierung von Workflows zur Laufzeit.

Chat-Bots sind das Interface zum Informationsbestand. Sie ersetzen zunehmend herkömmliche generelle Suche wie z.B. Google-Search sowie innerhalb der Organisation Enterprise-Search und Metadaten-basiertes Retrieval. Bei der internen Nutzung können sie als Informationsaufbereiter und -verdichter oder aber auch als intelligentes Hilfe-Interface für fachliche Fragestellungen eingesetzt werden. Hier kommt der KI die Rolle eines „virtuellen Assistenten“ zu, dessen Nutzung und besonders die Einschränkungen in Bezug auf die Richtigkeit und Vollständigkeit von Aussagen geschult werden müssen. Bei Einsatz für externe Dritte, z.B. im Support, Fragen-und-Antworten-Systeme, automatisierte Telefondialoglösungen und ähnliche Anwendungen, kommt dem Informationsmanagement der darunterliegenden Informationsbasis besondere Wichtigkeit zu. Die Informationen müssen richtig, immer aktuell und compliant mit rechtlichen Anforderungen sein. Z.B. beim Produkt-Support muss die Information zum korrekten, aktuellen Gerät benutzt werden. Dies ist besonders dann wichtig, wenn Haftungsfragen eine Rolle spielen. Gleiches gilt, wenn aus Dialogen Angebote und Verträge abgeleitet werden. Hier kommt dann auch die revisionssichere Archivierung ins Spiel. Beim Informationsmanagement kommt hier auch die Versionierung von Informationsständen und die rechtliche Prüfung vor Bereitstellung zu. Audittrails und Dokumentation der Dialoge sind zur Nachvollziehbarkeit essentiell. Auch sie müssen im Informationsmanagement verwaltet werden. Datenschutz und Anti-Spamming-Maßnahmen sind zu beachten. Faktoren, dass der Chat-Bot aus Fragen und Antworten lernt und unter Umständen inkorrekte oder unvollständige Information sich aneignet, müssen bei der Auslegung der KI-Software berücksichtigt werden.

Die Publikation von Inhalten auf Webseiten und auch als Berichte, Artikel, Whitepaper, Bücher, Marketingunterlagen etc. wird durch den Einsatz von KI und besonders LLM stark vereinfacht und beschleunigt. Automatisiert erstellte Texte sind aber häufig erkennbar und wirken sich negativ auf die Akzeptanz des Lesers und Interessenten aus. Formulierungen im konditionalen Modus „kann“, „könnte“ usw. müssen nachgearbeitet werden, wenn die beschriebene Information auf Fakten basiert. Gute LLM bieten hier bereits die Möglichkeit, den Sprachstil zu gestalten und auf entsprechende Sprachressourcen zurückzugreifen. Bei integrierter Übersetzung muss man sich bei einem lockeren Sprachstil auch vor „falschen Freunden“ hüten. Fachsprache im wissenschaftlichen Bereich lässt sich gut verarbeiten, besonders wenn auch Glossare, Thesaurus, Lexika und andere gesicherte Materialien eingebunden werden. Werden intern automatisch erstellte Texte einer Informationsbasis für die weitere KI-Nutzung zugeführt, dann sind diese in Bezug auf Qualität, Richtigkeit, Urheberrechte und Nutzungsrechte sorgfältig zu überprüfen.

Die verschiedenen Einsatzmöglichkeiten führen so auch zu sehr unterschiedlichen Lösungen innerhalb von Unternehmen, Verwaltungen und Behörden. Trotz all der Erleichterungs- und Automatisierungsmöglichkeiten muss dem Informationsmanagement, der Information Governance und „sauberen“ Informationsbasen durch ausreichend und qualifiziertes Personal Rechnung getragen werden. Der Einsatz von KI ist kein Selbstläufer.

Eine Checkliste für Planung, Umsetzung, Einführung und Betrieb

Aus den oben getätigten Überlegungen, Anwendungsmöglichkeiten und der Antwort von ChatGPT zu den Herausforderungen  lässt sich ein Entwurf für eine Checkliste ableiten, wie man am besten den Herausforderungen begegnet und eine nützliche interne Lösung einführt. Nützlich heißt hier, einfach und aufwandsparend durch die Endbenutzer einsetzbar. Hierfür sind nicht nur die Maßnahmen selbst sondern auch die Bewertung s- und Erfolgskriterien zu definieren. Und man muss sich schon bei der Planung den Herausforderungen der Weiterentwicklung, Pflege, Aktualisierung und Ergebnisbewertung über die Zeit stellen. Vom Aufwand her bewegt man sich hier auf der gleichen Ebene als wenn man ein ERP-, CRM- oder ECM-System konzipiert, einführt, nutzt und betreibt. Mit dem einfachen „Füttern“, Anlernen oder Trainieren der LLM-/KI-/ML-Software ist es nicht getan.

Die Checkliste ist in drei Abschnitte gegliedert: (1) Planung & Vorbereitung, (2) Umsetzung & Einführung und (3) Nutzung & Betrieb.

	Checkliste „Umsetzung interne KI-/LLM-Lösung“
Ziffer	Maßnahme	notwendig	Priorität
1	Planung einer internen KI-/LLM-Lösung
1.1	Strategieentwicklung
1.1.1	Erarbeitung einer langfristigen Strategie für den Einsatz von KI-/LLM-Technologien im Unternehmen, die die langfristigen Ziele, Investitionen und Entwicklungsrichtungen definiert.
1.1.2	Integration der KI-/LLM-Strategie in die übergeordnete Geschäftsstrategie und -vision des Unternehmens
1.1.3	Priorisierung der KI-LLM-Strategie im Verhältnis zu anderen Geschäfts-, Innovations-, Organisations- und IT-Vorhaben
1.1.4	Benennung eines Themenverantwortlichen in der obersten Ebene der Geschäftsführung
1.1.5	Entwicklung eines Programmes für die Umsetzung und Einführung nebst Integration in Prozesse, Organisation und Softwarelandschaft mit dedizierten Einzelprojekten.
1.2	Definition der Ziele und Anwendungsfälle
1.2.1	Identifikation konkreter Geschäftsanforderungen und -ziele, die durch den Einsatz von KI-/LLM-Technologien erreicht werden sollen
1.2.2	Auswahl von geeigneten Anwendungsfällen und Projekten, die einen messbaren Mehrwert bieten und realisierbar sind
1.2.3	Bewertung des zu erwartenden Nutzens zur Planung und Priorisierung der Einführungsmaßnahmen
1.3	Ressourcenplanung
1.3.1	Vorermittlung und Abschätzung der benötigten Ressourcen, einschließlich finanzieller Mittel, Personal, Technologie und Infrastruktur
1.3.2	Festlegung eines realistischen Zeitrahmens für die Umsetzung der KI-/LLM-Lösung
1.3.3	Definition der geplanten Nutzeneffekte im Verhältnis zum Ressourceneinsatz
1.4	Rechtliche Prüfung
1.4.1	Durchführung einer umfassenden rechtlichen Prüfung, um sicherzustellen, dass der Einsatz von KI-/LLM-Technologien im Einklang mit den geltenden Gesetzen und Vorschriften steht.
1.4.2	Abgleich mit den gelten Governance, Information Governance und Compliance-Vorgaben des Unternehmens
1.4.3	Bewertung von rechtlichen Aspekten wie Haftung, geistigem Eigentum und Ethik im Zusammenhang mit dem Einsatz von KI-/LLM-Technologien.
1.4.4	Überprüfung der geltenden Datenschutz-, Vertraulichkeits- und Datensicherheitsvorgaben
1.4.5	Planung notwendiger Anpassungen und Ergänzungen von Richtlinien, Vorgaben, Policies, SOPs sowie Arbeits- und Prüfungsanweisungen
1.4.6	Identifizierung und Vorbereitung neuer notwendiger Richtlinien und Verfahren zur Sicherstellung des Datenschutzes und der Einhaltung gesetzlicher Vorschriften im KI-Umfeld
1.5	Risikobewertung
1.5.1	Durchführung einer umfassenden Risikobewertung, um potenzielle Risiken und Herausforderungen im Zusammenhang mit dem Einsatz von KI-/LLM-Technologien zu identifizieren und zu bewerten.
1.52	Entwicklung von Maßnahmen zur Risikominimierung und -bewältigung sowie eines Plans für den Umgang mit unvorhergesehenen Risiken während des Programmes bzw. der einzelnen Projekte und Teilprojekte.
1.6	Bestandsaufnahme der aktuellen Situation
1.6.1	Analyse der vorhandenen Datenquellen und -formate
1.6.2	Bewertung der aktuellen Prozesse und Herausforderungen im Unternehmen
1.6.3	Feststellung des Bedarfs und der Ziele für den Einsatz von KI-/LLM-Technologien
1.6.4	Ermittlung, Bewertung und Koordination ähnlicher bereits laufender oder geplanter Maßnahmen von KI-Einsatz-, Automatisierungs- oder Digitalisierungsbestrebungen.
1.7	Stakeholder-Management
1.7.1	Identifizierung der Stakeholder und ihrer Interessen am KI-/LLM-Projekt
1.7.2	Einbindung relevanter Interessengruppen, einschließlich Führungskräfte, Fachabteilungen, Personal-Abteilung, Rechtsabteilung, IT-Abteilung, Datenschutzbeauftragte, externe Auditoren und Wirtschaftsprüfer
1.7.3	Identifizierung und Akquirierung späterer Key-User, Mentoren, Qualitätsverantwortlichen und anderen anerkannten Ansprechpartnern in der Organisation
1.8	Konzeption
1.8.1	Konzeption der Lösung oder Lösungen mit Identifizierung der zugehörigen Informationsbestände und der Nutzungsmodelle
1.8.2	Konzeption Budget mit erwarteten Kosten für Beschaffung, Einführung und Betrieb sowie Migration, Updates und Pflege
1.8.3	Konzeption Betrieb, Qualitätsmanagement, Training des Systems, Migration oder Bereitstellung von Information, Berechtigungen, Datensicherung
1.8.4	Konzeption Schulungen und Weiterbildungen für Entscheider, Anwender, Administratoren, fachlich Verantwortliche, Externe sowie Hilfefunktionalität
1.8.5	Konzeption der Einführung mit Zeitplan, Maßnahmen, Risiko-Management, Beteiligte, Verantwortliche, Kommunikation, Fallback,
1.8.6	Konzeption Projekt-Management und Gremien-Betreuung (Datenschutz, Revision, Rechtsabteilung, Personalvertretung, Geschäftsführung, Fachbereichsverantwortliche oder ähnliche entsprechend Organisationsform) nebst Berichtswesen und Dokumentation des Projektes
1.8.7	Konzeption der Tests mit Beteiligten, Testmaterial, Bewertungskriterien und Abnahmen
1.8.8	Konzeption Betreuung während Betrieb mit Verantwortlichen, Ausstattung, Support, Helpdesk, Nachhaltung der Weiterentwicklung, Ausbau von Lösungen, weitere Schulungen etc.
1.9	Produktauswahl
1.9.1	Prüfung, ob bereits KI-Software oder andere Software mit integrierter KI-Komponente im Haus im Einsatz ist.
1.9.2	Entwicklung Kriterienkatalog entsprechend Zielen, Bedarfsanalyse und abgenommenen Anforderungen
1.9.3	Vorklärung zukünftiger Betrieb in Bezug auf Skills, Plattformen, Schnittstellen, Ressourcen etc. mit interner IT oder Cloud-Provider
1.9.4	Marktevaluierung verschiedener KI/LLM/ML-Werkzeuge zur Ermittlung möglicher Lieferanten, Realisierungspartner und Preise
1.9.5	Erstellung der Ausschreibung und Bewertungsschema mit Abnahme Ausschreibungsinhalt, Kostenschätzung und Vorgehen durch die Geschäftsführung und betroffene Fachbereiche
1.9.6	Einholung von Angeboten und deren Auswertung mit Überprüfung gewünschter Leistungsumfang und geplante Kosten
1.9.7	Präsentation der besten Lösungen auf Basis von der Anwenderorganisation bereitgestellter eigener Daten-/Informationsbasen und Nutzungsszenarien
1.9.8	Vorbereitung Produktentscheidung mit Review, Projektplan und Kostenplan und verhandelten Konditionen
1.10	Entscheidung und Bewilligung für Produkt, Budget, Ressourcen, Umsetzungsprojekt, Einführung und Betrieb
2	Implementierung und Einführung einer internen KI-/LLM-Lösung
2.1	Projektstart
2.1.1	Bildung einer gemeinsamen Projektgruppe mit Anbieter; Kickoff; Konkretisierung der gemeinsamen Projektplanung
2.1.2	Klärung Verantwortlichkeiten, Meilensteine, Erfolgskriterien; Berichtswesen, Kommunikation
2.2	Erstellung der Lösung
2.2.1	Erprobung Schnittstellen zu vorgesehenen Informationspools; Zugriffsberechtigungen
2.2.3	Datenbereinigung
2.2.4	Ermittlung konkreter Speicherbedarf für Anwendung, aufbereitete Daten, Ergebnisse, Protokollierung, Datensicherung
2.2.5	Aufsetzen von Entwicklungs-, Test- und Schulungsumgebung sowie der zukünftigen produktiven Plattform
2.2.6	Modellentwicklung und Training mit den bereitgestellten Daten; Funktionsprüfung, Anpassung Benutzer-Interfaces; Prüfung Administrationsfunktionalität
2.2.7	Implementierung Auswertung Datenquellen, Aktualisierung, Bereitstellung User-Interface; ggbf. integriert in Anwendungen oder Prozesse
2.3	Durchführung von Tests
2.3.1	Technische Tests mit Auslesen, Performance, Fehlerbehandlung etc.
2.3.2	Funktionale Tests mit Erprobung aller bereitgestellten Anwender- und Administratoren-Funktionalität, Berechtigungen, Protokolle, Sicherungen
2.3.3	Anwender-Tests mit ausgewählten Key-Usern zur Benutzerakzeptanz, Verantwortlichen aus Datenschutz und Qualitätsverantwortlichen
2.3.4	Test des Schulungsmaterials und der Hilfe gegenüber der Anwendung
2.3.5	Test Helpdesk, Support und Ticketing
2.3.6	Auswertung und ggbf. Wiederholung von Tests nach Nachbesserungen
2.3.7	Dokumentation der Testergebnisse und noch offener Nachimplementierungs- oder Datenbasisbereinigungsaufgaben
2.4	Freigabe zur Pilotierung / Produktionsaufnahme
2.4.1	Abnahme oder bedingte Abnahme
2.4.2	Erklärung der Betriebsbereitschaft seitens des Anbieters / interne IT
2.4.3	Mitarbeiter Information (Veranstaltung; schriftlich; Anleitungs-Webinare/Aufzeichnungen
2.4.4	Interne Veröffentlichung Bedienungsanleitungen; Compliance-Hinweise; Arbeitsanweisungen; Datum Produktivstart; Schulungsdaten etc.
2.5	Rollout
2.5.1	Freischaltung / Rollout entsprechend Projekt- und Schulungsplan
2.5.2	Support-Team zur sofortigen Bereinigung von Fehlern aktivieren
2.5.3	Feedback monitoren und dokumentieren
2.6	Schulungen
2.6.1	Durchführung der Schulungen in personam und/oder per Webinar; jeweils für Entscheider, Benutzer:innen, Administratoren, Fach-Administratoren
2.6.2	Auswertung Schulungserfolg, Nacharbeitung Schulungsunterlagen, Bereitstellung Nachschulungen neue Mitarbeiter, Arbeitsplatzwechsel, neue Funktionen etc.
2.7	Dokumentation
2.7.1	Umsetzung der betroffenen Konzepte für Datenschutz, rechtliche Anforderungen sowie der Dokumentationen über das eingerichtete System, Einstellungen, Administration, Berechtigungen etc. in Betriebs-Dokumente
2.7.2	Dokumentation, Bericht zum Projekt und Vorbereitung Unterlagen für Entscheider-Review
2.8	Projektabschluss
2.8.1	Projektabschluss-Review mit Nachkalkulation, Bericht über Schulungserfolg etc.
2.8.2	Auflösung des Projekt-Teams mit teilweise Überführung der teilnehmenden Mitarbeiter:innen in die Betriebsorganisationseinheit / IT / Fachabteilung
2.8.3	Übergabe Verantwortung für die Lösung vom Projekt in die zuständige Einheit der Aufbauorganisation nebst allen für den Betrieb notwendigen Unterlagen aus dem Projekt
2.8.4	Archivierung der Planungs- und Einführungsdokumentationen
3	Nutzung und Betrieb
3.1	Sicherstellung fehlerfreie und verfügbare Anwendung
3.1.1	System-Monitoring
3.1.2	Fehlerbereinigung; ggbf mit dem Anbieter oder dem Cloud-Provider
3.1.3	Perfomance-Überwachung auf Basis definierter Leistungskennzahlen und realen Messungen
3.1.4	Kontinuierliche Prüfung und Aktualisierung der Sicherheitsmaßnahmen und -richtlinien sowie deren Umsetzung
3.1.4	Überwachung und Test von Restart und Wiederanlaufverfahren
3.1.5	Update- und Release-Management einschließlich Schnittstellen und Prozessen bei den integrierten oder angebunden Softwareprodukten
3.1.6	Durchführung regelmäßiger Wartungsarbeiten und Fehlerbehebungen einschließlich präventiver Maßnahmen,
3.1.7	Bereitstellung und Pflege von automatisierten Berichten und/oder Dashboards zum Betrieb
3.1.8	Regelmäßige Kommunikation und Abstimmung mit der IT-Abteilung und/ oder Cloudanbieter
3.2	Benutzer-Administration
3.2.1	Überwachung Änderungen an Nutzern und deren Berechtigungen sofern diese in einem zentralen Directory-Service verwaltet werden, der mit der KI-Lösung verbunden ist (single Logon)
3.2.2	Sicherung benutzerspezifischer Anpassungen, Konfigurationen, Speicherbereich und erzeugter Spezialanwendungen
3.3	Statistik
3.3.1	Anonymisierte Nutzungsstatistiken zur Erfolgsmessung und Planung von (Nach-)Schulungsmaßnahmen; Art und Häufigkeit von bestimmten Nutzungen
3.3.2	Systemstatistiken zu Nutzung, Performance, genutzte Datenquellen,
3.3.3	Analyse und Abgleich mit Kennzahlen zu Effizienz, Kostenreduzierung von Kennzahlen aus den wie Effizienzsteigerungen, Kostenersparnissen und Umsatzwachstum
3.3.4	Überwachung Speicherbedarf und -nutzung
3.4	Optimierung und Weiterentwicklung
3.4.1	Einholung und Auswertung Benutzungsdaten zur Ermittlung von Problemstellen und möglichen Optimierungspotentialen
3.4.2	Marktbeobachtung zur Weiterentwicklung der eingesetzten Technologien
3.4.3	Teilnahme an Veranstaltungen des Herstellers zu Update-Planung, Weiterentwicklung, Release-Management
3.4.4	Bewertung und Integration neuer Technologien und Funktionen zur Leistungsverbesserung oder Schaffung neuer Anwendungsmöglichkeiten.
3.4.5	Kontinuierliche Anpassung an neue oder sich ändernde Anforderungen
3.4.6	Nachhaltung, ggbf. Aktualisierung der langfristigen Strategie des KI-Einsatzes
3.5	Weiterbildung und Schulung
3.5.1	Kontinuierliche Weiterbildung des Administrations- und Betriebspersonals
3.5.2	Nachschulungen bei Mitarbeiterwechseln, neuer Funktionalität, Neueinstellungen, neuen Berechtigungen, Updates, etc.
3.6	Qualitätsmanagement
3.6.1	Umsetzung Qualitätsverbesserungen der fachlich Verantwortlichen
3.6.2	Überwachung der Aktualisierungen der genutzten Datenbasen
3.6.3	Überachtung von Machine-Learning-Entwicklungen des Systems
3.7	Stakeholder-Management
3.7.1	Regelmäßige Kommunikation mit den Verantwortlichen für Datenbasen und Nutzergruppen
3.7.2	Mitwirkung in Qualitätszirkeln
3.7.3	Einholung Nutzer-Feedback
3.7.4	Berichtswesen an Fachabteilungen, Geschäftsführung Personalrat, Rechtsabteilung, Revision, Archivierung und andere betroffene Organisationseinheiten entsprechend Berichtsmatrix oder Berichtsplan
3.8	Anwenderunterstützung
3.8.1	Betrieb Helpdesk (1. und/oder 2. Level) und Support-Desk
3.8.2	Betrieb Ticketing-System
3.8.3	Hilfe über Videoconferencing und/oder Chat
3.8.4	Überwachung und Optimierung der Hilfestellungen des KI/LLM-Systems selbst
3.9	Dokumentation
3.9.1	Dokumentation des Systems selbst mit Parametern, Konfigurationen und Versionierung
3.92	Dokumentation implementierter Algorithmen, Prozesse und Anwendungen
3.9.3	Dokumentation von Anpassungen, Aktualisierungen und Ergänzungen der genutzten Informationsbasen
3.9.4	Dokumentation und Aktualisierung der Betriebsunterlagen, Arbeitsanweisungen, Hilfe-Funktionen, Schulungsmaterial und Schulungsdurchführung, zusätzlicher Erweiterungsprojekte etc.
3.9.5	Dokumentation durchgeführter Audits und Protokollauswertungen
3.9.6	In Abhängigkeit der verwendeten Informationsbasen und Anwendungen Erstellung, Pflege und Aktualisierung von Verfahrensdokumentationen nach GoBD bei kaufmännischen Informationen und/oder Verfahrensbeschreibungen nach DSGVO bei personenbezogenen Daten
3.9.7	Regelmäßige Archivierung relevanter Dokumentationen
3.9.8	Regelmäßige Änderung, Ergänzung oder Aussonderung von Dokumentationen, die ungültig geworden sind mit Historisierung/Versionierung zur Sicherstellung der Nachvollziehbarkeit
3.10	Sonstige Aufgaben
3.10.1	Im technischen Betrieb alle notwendigen und für die Organisation festgelegten Administrations- und Management-Aufgaben
3.10.2	In den zuständigen oder betroffenen Fachbereichen die regelmäßig vorgesehen Aufgaben zu Sicherstellung der Qualität der Inhalte und Ergebnisse sowie der Anwender bei der Nutzung
3.10.3	Im Management die regelmäßige Überprüfung der KI.-Strategie und der bisher erzielten Effekte mit Einleitung von Maßnahmen zur effizienteren, innovativeren, ethischen, sicheren, verantwortungsvollen und wirtschaftlicheren Anwendung von KI in der Organisation

Weiterentwicklung, Chancen, Risiken

Die Entwicklung von KI, besonders im Bereich von Large Language Models und ML Machine Learning, hat in den vergangenen Jahren erhebliche, teils sprunghafte Fortschritte gemacht. Drei besondere Entwicklungen, die Relevanz für den Inhouse-Einsatz von KI haben, lassen sich dabei beobachten:

• Kampf der Systemplattformen
  Aktuell sind LLMs von verschiedenen Anbietern im Internet frei nutzbar, so z.B: aktuell führend OpenAI. Neben Microsoft bemüht sich Google ebenfalls ein LLM ergänzend zu seiner Suche bereitzustellen. Microsoft plant die Integration in BING. Weitere Anbieter von Plattformen sind ebenfalls dabei, LLM anzubieten. Neben diesen öffentlich zugänglich KI-Chat-Systemen wird die Entwicklung für den Inhouse-Einsatz auf Basis der eigenen Informationsbasen von Anwenderunternehmen vorangetrieben. Diese LLM im internen Einsatz sind kostenpflichtig.
• Spezial-LLMs auf dem Vormarsch
  Zahlreiche kleinere Software-, Cloud- und Plattformanbieter haben begonnen, spezialisierte LLMs auf Basis der Produkte der großen Softwareunternehmen anzubieten. Hier kommen inzwischen aber auch Open-Source-LLMs zum Einsatz. Die Modelle werden praktisch „vortrainiert“ und mit speziellen Informationsbasen ausgestattet. Beispiele sind hier LLMs für Ärzte auf Basis von Diagnosen und Behandlungsmethoden, LLMs für Steuerberater, die alle Steuerregeln, Urteile und Praxisdokumente enthalten, oder aber auch LLMs für Anwälte, die allen Gesetze, Urteile und Kommentare enthalten. Die Zahl solcher, für den Inhouse-Einsatz oder die kostenpflichtige Nutzung im Internet gedachten speziellen LLMs wächst
• Integration in Standardanwendungen
  Unternehmen wie Microsoft planen LLM- und Chat-Technologien in alle ihre Produkte – Sharepoint, M365, Teams usw. – direkt zu integrieren. Man wird diese Funktionen zusätzlich lizensieren müssen. Jedoch werden sie den Druck auf die Anwenderunternehmen erhöhen, diese integrierten Systeme zu nutzen (und sich nicht nach etwas anderem umzusehen). Dies führt dazu, dass alle Anbieter von ERP, CRM, PLM und anderen großen Paketen ebenfalls LLMs nachrüsten werden. Der Konkurrenzkampf der Anbieter verlagert sich so wieder in die Unternehmen.

Diese Entwicklungen sind für alle Organisationen, Unternehmen und Verwaltungen relevant und die Implementierung von KI Künstlicher Intelligenz wird so zu einem Wettbewerbskriterium, gegebenenfalls sogar zu einem Überlebenskriterium.

Ausblick

Der Einsatz von KI wird in allen Organisationen unumgänglich. Die Erarbeitung von Strategien, wie mit KI umgegangen und in welchen Bereichen für welche Anwendungen KI eingesetzt werden soll, ist notwendig. Dabei ist es nicht nur notwendig, auf die neuen Chancen zu achten, sondern auch darauf, welche Risiken und negativen Effekte mit der ungesteuerten Einführung von Künstlicher Intelligenz im Unternehmen verbunden sind. Geschäftsmodelle, Prozesse und Arbeitsplätze verändern sich. Automatisierung macht bestimmte Arbeiten und damit auch Arbeitsplätze überflüssig. Ein besonderes Risiko sind aber die Informationsbestände, die zum Trainieren und Recherchierens mit Hilfe eines LLM benutzt werden. Ohne ein ganzheitliches Informationsmanagement und eine durchgängige Information Governance lassen sich die gesetzten Ziele des neuen Zugangs zu Wissens nicht erreichen.

Und was nicht vergessen werden darf – wir stehen erst am Anfang der Entwicklung und des Einsatzes von KI Künstlicher Intelligenz. Eine generelle, nicht spezialisierte KI zeichnet sich erst langsam am Horizont ab. Eine Strategie für den KI-Einsatz muss daher auf Veränderung und Weiterentwicklung ausgelegt sein. Gerade mit den vermehrten selbstlernenden, Machine Learning, Systemen müssen Verfahren und Prinzipien für Qualität, Transparenz, Nachvollziehbarkeit und Beherrschung durchgängig, ganzheitlich implementiert werden. Nur so lässt sich der Nutzen aus der KI ziehen und die Zukunft sicher gestalten.

---

Translation by Deepl.com

---

AI Artificial intelligence with information management as an in-house application

With the rise of LLM large language model tools as a current AI development as a publicly accessible, even free application for tapping into knowledge, the discussion about the use of AI artificial intelligence in companies, organisations and administrations has also gained momentum. LLMs offer the opportunity to tap into existing internal organisational information sources. The better these are already organised as part of a holistic information management system, the better the results and benefits for the user organisation. Information management and artificial intelligence must interact optimally here. The use of internal company data has advantages, but also poses particular challenges.

External versus internal sources

The use of such tools within organisations on the basis of their own processes, data and information offers companies the opportunity to develop customised solutions that are precisely tailored to their specific requirements. AI tools thus represent the next step in information development after BI Intelligence, Big Data Analytics, Automatic Classification, RPA Robotic Process Automation, Enterprise Search and IIM Intelligent Information Management. Depending on the sources used, the quality of the results is better and more reliable than when using an Internet data-based tool. In particular, access protection, data security, data protection, traceability, up-to-dateness, accuracy and other criteria of a holistic information management & information governance solution can be fulfilled here. The emphasis is on „can“, as the information must be suitable and prepared accordingly. Ultimately, we are talking about specialised AI applications here and not about universal artificial intelligence. Results can be particularly unsatisfactory if the information base used is very uniform. It is therefore necessary to define what type of information should be developed as knowledge for what purpose and for which user group. This can lead to different applications with different information bases if you consider different utilisation models: Texts for marketing and the Internet will differ significantly from knowledge about patents and research results as well as legal and regulatory documentation. It is therefore not just a matter of „unleashing“ an LLM tool on the internal data, but of customising internal solutions for specific purposes as part of holistic information management. This also gives rise to special requirements for the tool to be used, which must not only be trainable, but also self-learning and evolve in line with user dialogues while still meeting compliance and data protection requirements. From this perspective, there is a whole range of challenges that need to be taken into account when choosing, using, maintaining and following up on the tool. Don’t be fooled by the simplicity of the user interface – the real work in information management takes place underground.

Challenges for the internal use of AI/LLM tools

An LLM itself can also be asked about the challenges of using AI and especially LLM tools as variants of artificial intelligence (OpenAI ChatGPT, version 3.0, 10.12.2022; edited and formatted):

„The use of AI and Large Language Models (LLM) tools on proprietary information within an organisation presents a number of challenges that need to be addressed. The top 10 challenges include:

1. Data quality and integrity:
   The quality and integrity of internal data are critical to the accuracy and reliability of AI and LLM models. Inconsistent, incomplete or incorrect data can lead to distorted results.
2. Data protection and compliance:
   The use of AI and LLM tools requires careful consideration of data privacy and compliance regulations, especially when sensitive or personal data is involved. Companies must ensure that they comply with applicable laws and regulations and respect the privacy of their employees and customers.
3. Lack of transparency:
   AI and LLM models can often act as a ‚black box‘, meaning that their decision-making processes are difficult for humans to understand. This can lead to trust issues and affect the acceptance of the models within the organisation.
4. Explainability of decisions:
   It is important that the decisions made by AI and LLM models can be explained and understood. Companies must ensure that they can understand and interpret the logic and behaviour of their models.
5. Bias and discrimination:
   AI and LLM models can be susceptible to bias and discrimination, especially if they are trained on unequal or biased data. Organisations need to ensure that their models are fair and balanced and do not contain undesirable biases.
6. Lack of skilled labour:
   The use of AI and LLM tools requires specialised expertise and technical know-how that many companies may not have. The lack of qualified specialists can hinder the introduction and operation of these technologies.
7. Scalability and resource requirements:
   Scaling AI and LLM applications within an organisation can be challenging as they often require significant computing and storage resources. Organisations need to ensure that they have sufficient resources to support the deployment of these technologies.
8. Integration with existing systems:
   ntegrating AI and LLM tools with existing IT systems and business processes can be complex and often requires extensive customisation and interface development.
9. Risk management:
   The use of AI and LLM technologies involves certain risks, including the risk of errors, failures or misuse. Companies must develop appropriate risk management strategies to identify, assess and minimise these risks.
10. Cultural and organisational challenges:
    The adoption of AI and LLM technologies may require cultural and organisational changes and may be met with resistance. Organisations need to educate, train and support employees to ensure smooth integration and adoption.“

The result of ChatGPT is surprisingly good and quite complete. Ultimately, this means that the topic has already been dealt with several times by authors whose contributions have been included in the ChatGPT training catalogue from 2021. What is particularly good about the answer is that human factors and cultural issues have also been included. If you go into more detail, there are numerous other challenges that are determined by the circumstances of the organisation, its activities, its information bases and the usage models it strives for. Here, the requirements and prerequisites in the various organisations differ greatly. The possible uses of an LLM as generative AI are determined by the information and knowledge issues and the available databases.

Where can AI Artificial Intelligence support information management and information governance?

The topic of automation has been an important argument for document management, enterprise content management and knowledge management for decades – previous techniques such as rule-based workflows or manually trained classification can bring significant simplifications and new fields of application through AI Artificial Intelligence, especially in conjunction with Machine Learning (ML). This contributes to better information quality, faster information processing and indexing, more convenient retrieval and provision of knowledge and ultimately higher efficiency and greater value of information. Given the growth of information in all organisations and on the Internet, a holistic information management and information governance strategy is particularly important. On the one hand, AI methods and tools create many new opportunities for improved information utilisation, but they also harbour new risks of possible misuse. Therefore, new AI methods must work together with stringent methods and procedures of information management and information governance.

There are numerous fields of application for the use of AI, ML and tools such as LLMs in information management.

In document management and electronic archiving, the automated extraction of metadata and automatic classification when capturing information objects are among the classic use cases. The automated recognition and extraction of relevant information from unstructured documents as well as the generation of full texts from image documents creates the basis for indexing with Natural Language Processing NLP applications such as LLM Large Language Models for analysis, processing, indexing and reprocessing. Predictive analytics (PA) can also be used to derive predictions about information requirements, information utilisation and necessary information acquisition. The use of AI to improve the quality of OCR/ICR results (Optical Character Recognition, Intelligent Character Recognition) is a standard field of application.

The automation of records management (see also the article „Records Management & Automation“ from 2014 (https://project-consult.theum.com/essentials/index.htm?t=Teams-Artikel-Articles,2014,ulrich-kampffmeyer—records-management—automation–20141015,records-management—automation) utilises similar approaches to document management. In records management, a new quality is created through the combination of metadata and organisational structures, which are jointly indexed together with full texts by LLM and presented in cleanly prepared results. Records management also involves essential governance, compliance, data protection, data security and other regulatory and legal requirements. To ensure compliance with the GDPR (General Data Protection Regulation), AI-based analysis and evaluation mechanisms can be used in data capture processes to filter out information objects with personal data and provide them with special protection features. Artificial intelligence can also strengthen information security by identifying vulnerabilities and risks. LLM Large Language Models can significantly simplify the use of records management systems – which are often very complicated with metadata and deep structures – and thus also create a usage option for employees who do not deal with the records management discipline on a daily basis.

The greatest benefit of using AI is likely to be in knowledge management. Large amounts of digitally available information can be condensed, indexed, qualitatively evaluated, summarised and made available to users in dialogue in an understandable way using LLM and other technologies. The system learns the questions of individual users, prepares information for the next interactions with machine learning and comparison of previous results and can ultimately proactively and automatically provide users with the information they need „without being asked“. Even applications on knowledge bases that were previously only feasible with great effort and many limitations, such as the creation of knowledge graphs, ontologies and evaluation systems, can now be implemented relatively easily with AI support. The ability of LLMs to prepare information in texts, graphics and analyses in a natural language, cleanly prepared, well-structured and needs-based manner lowers the inhibition thresholds for using electronic information and relieves employees of routine tasks, e.g. in research, reporting and documentation. The parallel development of translation tools and their integration into LLM software also makes it possible to access and utilise foreign-language information. This increases the amount of usable information many times over. The combination of LLM, ML, NLP and translation represents a new quality for knowledge management, but also for collaboration in teams with users from different backgrounds. Generative artificial intelligence also makes it possible to adapt the style and content to the special requirements of specific groups or users so that their level of knowledge and understanding of the topic is adequately served. In a nutshell (not meant to be discriminatory), „intelligent specialised knowledge preparation for use by dummies“ in simple language. With all these new access options, the „cleanliness“, the correctness, of the information bases used is of particular importance and must be provided in an up-to-date, comprehensible and high-quality manner by a holistic information management system.

Over the last few decades, various methods have been used to automate and optimise internal company processes – from manual optimisation and self-optimising processes based on usage to the latest RPA robotic process automation. This is where the shift from „automatically copying“ processes carried out by humans to the use of artificial intelligence is taking place. Generative LLM is less in demand here, as it is more about logical, comprehensible decisions based on concrete information. However, LLM can also be used here in reporting, when summarising large volumes of text, combining text modules, sentiment analysis of incoming customer correspondence, automated response systems in communication and many other fields. AI is already supporting process automation systems with analysis, optimisation, redesign and log data evaluation. This allows processes to be simulated and workflows to be optimised at runtime.  

Chat bots are the interface to the information pool. They are increasingly replacing conventional general searches such as Google Search as well as enterprise search and metadata-based retrieval within the organisation. When used internally, they can be used as an information processor and summariser or as an intelligent help interface for specialist questions. Here, the AI takes on the role of a „virtual assistant“, whose use and, in particular, the limitations in relation to the accuracy and completeness of statements must be trained. When used for external third parties, e.g. in support, question-and-answer systems, automated telephone dialogue solutions and similar applications, the information management of the underlying information base is of particular importance. The information must be correct, always up-to-date and compliant with legal requirements. For product support, for example, the information on the correct, up-to-date device must be used. This is particularly important when liability issues play a role. The same applies when offers and contracts are derived from dialogues. This is where audit-proof archiving comes into play. In information management, the versioning of information statuses and the legal review prior to provision are also important. Audit trails and documentation of dialogues are essential for traceability. They also need to be managed in information management. Data protection and anti-spamming measures must be observed. Factors such as the fact that the chat bot learns from questions and answers and may acquire incorrect or incomplete information must be taken into account when designing the AI software.

The publication of content on websites and also as reports, articles, white papers, books, marketing documents, etc. is greatly simplified and accelerated by the use of AI and especially LLM. However, automated texts are often recognisable and have a negative impact on the acceptance of readers and interested parties. Formulations in the conditional mode „can“, „could“ etc. must be reworked if the information described is based on facts. Good LLMs already offer the option of designing the language style and using appropriate language resources. With integrated translation, you also have to beware of „false friends“ when using a relaxed language style. Specialised language in the scientific field can be processed well, especially if glossaries, thesauruses, lexicons and other secure materials are also integrated. If internally automatically generated texts are fed into an information base for further AI use, they must be carefully checked in terms of quality, accuracy, copyright and usage rights.

The various possible applications also lead to very different solutions within companies, administrations and authorities. Despite all the possibilities for simplification and automation, information management, information governance and „clean“ information bases must be ensured by sufficient and qualified personnel. The use of AI is not a sure-fire success.

A checklist for planning, implementation, introduction and operation

From the above considerations, possible applications and ChatGPT’s response to the challenges, a draft checklist can be derived on how best to meet the challenges and introduce a useful internal solution. Useful here means simple and easy to implement by the end users. To this end, not only the measures themselves but also the evaluation and success criteria must be defined. And the challenges of further development, maintenance, updating and results evaluation over time must be faced right from the planning stage. In terms of effort, this is on the same level as designing, introducing, using and operating an ERP, CRM or ECM system. Simply „feeding“, teaching or training the LLM/KI/ML software is not enough.

The checklist is divided into three sections: (1) Planning & preparation, (2) Implementation & introduction and (3) Utilisation & operation.

	Checklist „Implementation of an internal AI/LLM solution“
Item	Action	required	Priority
1	Planning of an internal AI/LLM solution
1.1	Strategy development
1.1.1	Development of a long-term strategy for the use of AI/LLM technologies in the company that defines the long-term goals, investments and development directions.
1.1.2	Integration of the AI/LLM strategy into the company’s overarching business strategy and vision
1.1.3	Prioritisation of the AI/LLM strategy in relation to other business, innovation, organisational and IT projects
1.1.4	Appointment of a person responsible for the topic at the top management level
1.1.5	Development of a programme for implementation and introduction as well as integration into processes, organisation and software landscape with dedicated individual projects.
1.2	Definition of objectives and use cases
1.2.1	Identification of specific business requirements and objectives to be achieved through the use of AI/LLM technologies
1.2.2	Selection of suitable use cases and projects that offer measurable added value and are realisable
1.2.3	Evaluation of the expected benefits to plan and prioritise the implementation measures
1.3	Resource planning
1.3.1	Preliminary determination and estimation of the required resources, including financial resources, personnel, technology and infrastructure
1.3.2	Determination of a realistic time frame for the implementation of the AI/LLM solution
1.3.3	Definition of the planned benefits in relation to the use of resources
1.4	Legal review
1.4.1	Conduct a comprehensive legal review to ensure that the use of AI/LLM technologies complies with applicable laws and regulations.
1.4.2	Comparison with the company’s applicable governance, information governance and compliance requirements
1.4.3	Assessment of legal aspects such as liability, intellectual property and ethics in connection with the use of AI/LLM technologies
1.4.4	Reviewing the applicable data protection, confidentiality and data security requirements
1.4.5	Planning necessary adjustments and additions to guidelines, specifications, policies, SOPs and work and audit instructions
1.4.6	Identification and preparation of new necessary guidelines and procedures to ensure data protection and compliance with legal regulations in the AI environment
1.5	Risk assessment
1.5.1	Conducting a comprehensive risk assessment to identify and evaluate potential risks and challenges associated with the use of AI/LLM technologies
1.52	Develop risk mitigation and response measures and a plan for dealing with unforeseen risks during the programme or individual projects and sub-projects.
1.6	Taking stock of the current situation
1.6.1	Analysis of existing data sources and formats
1.6.2	Assessment of the current processes and challenges in the company
1.6.3	Determining the needs and objectives for the use of AI/LLM technologies
1.6.4	Identification, evaluation and coordination of similar measures already underway or planned for AI deployment, automation or digitalisation efforts.
1.7	Stakeholder management
1.7.1	Identification of stakeholders and their interests in the AI/LLM project
1.7.2	Involvement of relevant stakeholders, including managers, specialist departments, HR department, legal department, IT department, data protection officer, external auditors and accountants
1.7.3	Identification and acquisition of future key users, mentors, quality managers and other recognised contacts in the organisation
1.8	Concepts
1.8.1	Conceptualisation of the solution or solutions with identification of the associated information assets and usage models
1.8.2	Budget design with expected costs for procurement, implementation and operation as well as migration, updates and maintenance
1.8.3	Design of operation, quality management, training of the system, migration or provision of information, authorisations, data backup
1.8.4	Design of training and further training for decision-makers, users, administrators, technical managers, external parties and help functionality
1.8.5	Conception of the introduction with schedule, measures, risk management, participants, responsible parties, communication, fallback,
1.8.6	Conception of project management and committee support (data protection, audit, legal department, personnel representatives, management, departmental managers or similar according to organisational form) together with reporting and documentation of the project
1.8.7	Conception of the tests with participants, test material, evaluation criteria and acceptances
1.8.8	Conception of support during operation with responsible persons, equipment, support, helpdesk, follow-up of further development, expansion of solutions, further training, etc.
1.8	Product selection
1.8.1	Check whether AI software or other software with integrated AI components is already in use in-house.
1.8.2	Development of criteria catalogue according to objectives, needs analysis and approved requirements
1.8.3	Preliminary clarification of future operation in terms of skills, platforms, interfaces, resources, etc. with internal IT or cloud provider
1.8.4	Market evaluation of various AI/LLM/ML tools to determine possible suppliers, realisation partners and prices
1.8.5	Preparation of the tender and evaluation scheme with acceptance of the tender content, cost estimate and procedure by the management and relevant specialist departments
1.8.6	Obtaining offers and evaluating them, checking the desired scope of services and planned costs
1.8.7	Presentation of the best solutions on the basis of own data/information bases and usage scenarios provided by the user organisation
1.8.8	Preparation of product decision with review, project plan and cost plan and negotiated conditions
1.9	Decision and authorisation for product, budget, resources, implementation project, introduction and operation
2	Implementation and introduction of an internal AI/LLM solution
2.1	Project start
2.1.1	Formation of a joint project group with provider; kick-off; concretisation of joint project planning
2.1.2	Clarification of responsibilities, milestones, success criteria; reporting, communication
2.2	Creation of the solution
2.2.1	Testing interfaces to planned information pools; access authorisations
2.2.3	Data cleansing
2.2.4	Determination of specific storage requirements for application, processed data, results, logging, data backup
2.2.5	Setting up the development, test and training environment as well as the future productive platform
2.2.6	Model development and training with the data provided; functional testing, customisation of user interfaces; testing of administration functionality
2.2.7	Implementation of evaluation of data sources, updating, provision of user interface; integrated into applications or processes if necessary
2.3	Carrying out tests
2.3.1	Technical tests with readout, performance, error handling, etc.
2.3.2	Functional tests with testing of all provided user and administrator functionality, authorisations, protocols, backups
2.3.3	User tests with selected key users for user acceptance, data protection officers and quality managers
2.3.4	Testing the training material and help with the application
2.3.5	Test helpdesk, support and ticketing
2.3.6	Evaluation and, if necessary, repetition of tests after improvements
2.3.7	Documentation of test results and any outstanding post-implementation or database clean-up tasks
2.4	Release for piloting / start of production
2.4.1	Acceptance or conditional acceptance
2.4.2	Declaration of operational readiness by the provider / internal IT
2.4.3	Employee information (event; in writing; instructional webinars/recordings
2.4.4	Internal publication of operating instructions; compliance notices; work instructions; go-live date; training dates, etc.
2.5	Rollout
2.5.1	Activation / rollout according to project and training plan
2.5.2	Activate support team for immediate correction of errors
2.5.3	Monitor and document feedback
2.6	Training
2.6.1	Conduct training in person and/or via webinar; in each case for decision-makers, users, administrators, specialist administrators
2.6.2	Evaluate training success, rework training documents, provide follow-up training for new employees, job changes, new functions, etc.
2.7	Documentation
2.7.1	Implementation of the relevant concepts for data protection, legal requirements and documentation on the system set up, settings, administration, authorisations, etc. in operating documents
2.7.2	Documentation, report on the project and preparation of documents for decision-maker review
2.8	Project completion
2.8.1	Project completion review with post-calculation, report on training success, etc.
2.8.2	Dissolution of the project team with partial transfer of the participating employees to the operational organisational unit / IT / specialist department
2.8.3	Transfer of responsibility for the solution from the project to the responsible unit of the organisational structure along with all documents from the project required for operation
2.8.4	Archiving of planning and implementation documentation
3	Utilisation and operation
3.1	Ensuring error-free and available application
3.1.1	Conduct system monitoring
3.1.2	Error correction; if necessary with the provider or cloud provider
3.1.3	Performance monitoring based on defined key performance indicators and real measurements
3.1.4	Continuous testing and updating of security measures and guidelines and their implementation
3.1.4	Monitoring and testing of restart and restart procedures
3.1.5	Update and release management including interfaces and processes for integrated or connected software products
3.1.6	Carrying out regular maintenance work and troubleshooting, including preventive measures,
3.1.7	Provision and maintenance of automated reports and/or dashboards for operation
3.1.8	Regular communication and coordination with the IT department and/or cloud provider
3.2	User administration
3.2.1	Monitoring changes to users and their authorisations if they are managed in a central directory service that is connected to the AI solution (single logon)
3.2.2	Backup of user-specific customisations, configurations, storage area and special applications created
3.3	Statistics
3.3.1	Anonymised usage statistics to measure success and plan (re)training measures; type and frequency of certain uses
3.3.2	System statistics on usage, performance, data sources used,
3.3.3	Analysis and comparison with key figures on efficiency, cost reduction of key figures such as efficiency increases, cost savings and sales growth
3.3.4	Monitoring storage requirements and utilisation
3.4	Optimisation and further development
3.4.1	Collection and evaluation of usage data to identify problem areas and potential for optimisation
3.4.2	Market observation for the further development of the technologies used
3.4.3	Participation in events organised by the manufacturer on update planning, further development and release management
3.4.4	Evaluation and integration of new technologies and functions to improve performance or create new application possibilities.
3.4.5	Continuous adaptation to new or changing requirements
3.4.6	Monitoring and, if necessary, updating the long-term strategy for the use of AI
3.5	Further education and training
3.5.1	Continuous training of administrative and operational staff
3.5.2	Follow-up training in the event of staff changes, new functionality, new hires, new authorisations, updates, etc.
3.6	Quality management
3.6.1	Implementation of quality improvements by those responsible
3.6.2	Monitoring of updates to the databases used
3.6.3	Monitoring machine learning developments in the system
3.7	Stakeholder management
3.7.1	Regular communication with those responsible for databases and user groups
3.7.2	Participation in quality circles
3.7.3	Obtaining user feedback
3.7.4	Reporting to specialist departments, management, staff council, legal department, auditing, archiving and other affected organisational units in accordance with the reporting matrix or reporting plan
3.8	User support
3.8.1	Operation of helpdesk (1st and/or 2nd level) and support desk
3.8.2	Operation of ticketing system
3.8.3	Help via video conferencing and/or chat
3.8.4	Monitoring and optimisation of the assistance provided by the AI/LLM system itself
3.9	Documentation
3.9.1	Documentation of the system itself with parameters, configurations and versioning
3.92	Documentation of implemented algorithms, processes and applications
3.9.3	Documentation of adjustments, updates and additions to the information bases used
3.9.4	Documentation and updating of operating documents, work instructions, help functions, training material and training programmes, additional expansion projects, etc.
3.9.5	Documentation of audits carried out and log analyses
3.9.6	Depending on the information bases and applications used, creation, maintenance and updating of procedural documentation in accordance with GoBD for commercial information and/or procedural descriptions in accordance with GDPR for personal data
3.9.7	Regular archiving of relevant documentation
3.9.8	Regular amendment, supplementation or removal of documentation that has become invalid with historicisation/versioning to ensure traceability
3.10	Other tasks
3.10.1	In technical operations, all necessary administration and management tasks defined for the organisation
3.10.2	In the responsible or affected departments, the regularly scheduled tasks to ensure the quality of the content and results as well as the users during use
3.10.3	In management, the regular review of the AI strategy and the effects achieved to date with the introduction of measures for more efficient, innovative, ethical, safe, responsible and economical use of AI in the organisation

Further development, opportunities, risks

The development of AI, particularly in the area of large language models and ML machine learning, has made considerable progress in recent years, in some cases in leaps and bounds. Three particular developments that are relevant to the in-house use of AI can be observed:

(1)          Battle of the system platforms
LLMs from various providers are currently freely available on the internet, e.g. OpenAI is currently leading the way. In addition to Microsoft, Google is also endeavouring to provide an LLM to complement its search. Microsoft is planning to integrate it into BING. Other platform providers are also in the process of offering LLM. In addition to these publicly accessible AI chat systems, development for in-house use is being driven forward on the basis of user companies‘ own information bases. These LLMs for internal use are subject to a charge.

(2)          Specialised LLMs on the rise
Numerous smaller software, cloud and platform providers have started to offer specialised LLMs based on the products of large software companies. However, open source LLMs are now also being used here. The models are practically „pre-trained“ and equipped with special information bases. Examples include LLMs for doctors based on diagnoses and treatment methods, LLMs for tax consultants that contain all tax rules, judgements and practice documents, and LLMs for lawyers that contain all laws, judgements and commentaries. The number of such specialised LLMs intended for in-house use or for use on the Internet for a fee is growing

(3)          Integration into standard applications
Companies such as Microsoft are planning to integrate LLM and chat technologies directly into all their products – Sharepoint, M365, Teams, etc. – and will licence these functions additionally. These functions will have to be additionally licensed. However, they will increase the pressure on user organisations to use these integrated systems (and not look for something else). As a result, all providers of ERP, CRM, PLM and other large packages will also retrofit LLMs. The competition between providers is thus shifting back to the companies.

These developments are relevant for all organisations, companies and administrations and the implementation of AI Artificial Intelligence will thus become a competitive criterion, possibly even a survival criterion.

Outlook

The use of AI is becoming unavoidable in all organisations. It is necessary to develop strategies on how to deal with AI and in which areas AI should be used for which applications. It is not only necessary to pay attention to the new opportunities, but also to the risks and negative effects associated with the uncontrolled introduction of artificial intelligence in the organisation. Business models, processes and jobs are changing. Automation is making certain tasks and therefore jobs redundant. However, the information resources used for training and research with the help of an LLM pose a particular risk. Without holistic information management and end-to-end information governance, the goals of the new access to knowledge cannot be achieved.

And what must not be forgotten – we are only at the beginning of the development and use of AI Artificial Intelligence. A general, non-specialised AI is only slowly emerging on the horizon. A strategy for the use of AI must therefore be designed for change and further development. Especially with the increase in self-learning, machine learning systems, procedures and principles for quality, transparency, traceability and control must be implemented consistently and holistically. This is the only way to reap the benefits of AI and securely shape the future.