Künstliche Intelligenz: Wie nehmen wir das ganze Team mit?

Praxisbericht aus einer Workshop-Reihe an der ZBW

1. Ausgangslage

Wen hat es nicht aufgeschreckt? Seit November 2022 überschlagen sich die Entwicklungen im Bereich der Technologien der Künstlichen Intelligenz (KI). Angefangen mit dem Release von ChatGPT 3.5 für die breite Öffentlichkeit, nahm das Thema seinen Lauf. Innerhalb von fünf Tagen meldeten sich eine Million Menschen¹ bei dem Dienst des Software-Unternehmens OpenAI an. Seither treibt der Hype viele Blüten und es entsteht gefühlt täglich eine Vielzahl neuer Anwendungen im Bereich der generativen KI. Die Anwendungsbereiche sind vielfältig: Bilder, Videos, Audios und Texte werden generiert, Präsentationsfolien und Designs gestaltet sowie Texte in unzählige Sprachen übersetzt. Da fällt es nicht leicht, einen Einstieg zu finden oder, noch weniger, den Überblick zu behalten.

2. Ziel des Workshops und Hintergrundinformationen

Die Dynamik, die sich aus dieser disruptiven Technologie ergeben hat, wollten die Autorinnen im Team aufgreifen, um allen im Kollegium einen niedrigschwelligen Einstieg zu ermöglichen, einen groben Überblick zu geben sowie ein einheitliches Verständnis und Selbstvertrauen im Umgang mit diesem Themenfeld sicherzustellen.²

Das Team in dem die Workshop-Reihe geplant wurde, beschäftigt sich mit den Aufgabenbereichen der Inhaltserschließung, der Pflege, Anwendung und Vernetzung der von der ZBW – Leibniz-Informationszentrum Wirtschaft entwickelten und betreuten Wissensorganisationssysteme sowie der Informationsvermittlung und wissenschaftlichen Rechercheberatung. Es bestehen im Rahmen dieser Aufgabenbereiche enge Schnittstellen zu den Benutzungsdiensten und mit EconBiz³, dem Fachportal für die Wirtschaftswissenschaften – dort vor allem im Rahmen der zur Verfügung gestellten kontextuellen Inhalte wie dem Standard-Thesaurus Wirtschaft⁴ und den Metadaten der Inhaltserschließung. Die ZBW hat seit einigen Jahren einen produktiven Dienst der automatisierten Inhaltserschließung AutoSE⁵. Das AutoSE-Team ist in der Abteilung Wissenschaftliche Dienste angesiedelt. Es besteht seit den Anfängen der Entwicklung der maschinellen Methoden ein enger Austausch und die Sacherschließer*innen sind mit ihren stichprobenartigen Bewertungen der automatisiert generierten Vorschläge zur Verschlagwortung der wissenschaftlichen Publikationen in die Weiterentwicklung der Methoden eingebunden. Somit hat das ZBW-Kollegium schon erste Eindrücke gesammelt, wie Machine Learning funktioniert. Nun war das Ziel, dieses Wissen auszubauen und aktuelle Entwicklungen im Bereich der generativen KI-Tools und Large-Language-Modelle aufzugreifen.

Zu Beginn der Workshop-Reihe wurde durch eine Mentimeter-Abfrage erhoben, welche Eindrücke das Kollegium in Bezug auf die dynamische Entwicklung der generativen KI-Tools gewonnen hatte. Es zeigten sich Interesse, Neugier und eine positive Erwartungshaltung der vielfältigen Möglichkeiten. Stark ausgeprägt waren aber auch negative Eindrücke wie Skepsis, Sorge, Unsicherheit, Stress und das Gefühl, von der Dynamik überrannt zu werden und nicht zu wissen, ob und wie man sich mit dem Thema auseinandersetzen soll. Vor allem diese negativ konnotierten Gefühle sollten aufgegriffen und entkräftet werden. Herausforderungen stellten dabei unterschiedliche Wissensstände im Bereich generativer KI-Tools dar, sowie eine unterschiedliche Ausprägung der Affinität zu Informationstechnologien.

3. Vorstellung des Workshop-Aufbaus

Die Autorinnen konzipierten für das Thema generative KI-Tools eine dreiteilige Workshop-Reihe. Dabei konzentrierte sich Phase 1 auf die Einordnung der Technologie, Phase 2 auf das Explorieren und in-Kontakt-Kommen mit der Technologie und Phase 3 auf die Bewertung von Tools im Hinblick auf die Aufgabenbereiche der Gruppe. Diese drei Phasen werden im Folgenden genauer beschrieben.

3.1 Phase 1: Einordnung

Wie in der Ausgangslage des Teams näher dargelegt, war die technische Affinität im Kollegium unterschiedlich stark ausgeprägt. Um die unterschiedlichen Kenntnisstände zu bedienen, entschieden sich die Autorinnen für eine einleitende Impuls-Vortragsphase. In dieser halbtägigen, online durchgeführten Vortragsreihe ging es darum, die KI-Technologie besser einordnen zu können (Phase 1: Einordnung). Im Detail bestand die Session aus vier Vorträgen:

1. Vortrag 1: Zur Geschichte der KI
   Der Vortrag wurde durch das AutoSE-Team durchgeführt. Das Team verwendet im Rahmen der automatisierten Inhaltserschließung Machine-Learning-Verfahren und untersucht derzeit auch Large-Language-Modelle (LLM) im Hinblick auf ihre Nützlichkeit für die Weiterentwicklung der Methoden der automatisierten Inhaltserschließung.
2. Vortrag 2: Begriffsklärung (z.B. Word Embeddings, Tokenizing) und vertiefter Einstieg in die Funktionsweise von LLM
   Der Vortrag wurde ebenfalls durch das AutoSE-Team durchgeführt. Im AutoSE-Team werden derzeit LLMs erforscht und wie diese die Methoden der automatisierten Inhaltserschließung verbessern können.
3. Vortrag 3: Anwendungsfälle in der ZBW für LLM
   Ein Forscher aus dem EconBiz-Team präsentierte Einblicke über erste Tests mit Word-Embedding-Modellen in der schlagwortbasierten Suchfunktionalität des EconBiz-Fachportals. Das Ziel war es, dem Kollegium mögliche Anwendungsfälle für LLM aufzuzeigen, um die Möglichkeiten rund um die Methoden der Künstlichen Intelligenz besser einordnen zu können.
4. Vortrag 4: Anwendungsfälle außerhalb der ZBW im KI-Umfeld
   Im letzten Vortrag berichtete ein Kollege von der WHU – Otto Beisheim School of Management – über die Serviceangebote der WHU für Forschende und Studierende im KI-Umfeld. Mit diesem Vortrag wurde aufgezeigt, wie das Thema der Künstlichen Intelligenz in Aktivitäten von Service-Institutionen im wissenschaftlichen Kontext aufgegriffen wird.

An dieser Vortragsreihe konnten alle interessierten Beschäftigten der ZBW teilnehmen. Die einzelnen Vorträge wurden im internen Wiki der ZBW zur Dokumentation und Wiederverwendung abgelegt.

3.2 Phase 2: Explorieren

Der zweite Teil der Workshop-Reihe hatte zum Ziel, dem Kollegium einen niedrigschwelligen Einstieg in die Nutzung eines generativen KI-Tools zu ermöglichen. Vor dem Start der zweiten Phase wurde für diese explorative Phase ein einheitlicher Rahmen geschaffen.

Dieser Rahmen beinhaltete die Vorauswahl von fünf generativen KI-Tools. Kriterien für die Auswahl der Tools waren:

• Der Anmeldevorgang im Tool fragt keine kritischen personenbezogenen Daten ab wie z.B. die Mobilfunknummer bei ChatGPT in der Anfangsphase.
• Die Funktionalitäten oder der Schwerpunkt des Tools orientiert sich an Anwendungsfällen, die auch mit dem Arbeitsumfeld im Team Überschneidungen haben, so z.B. die Anwendungsfälle Literatursuche, Literature Review und die Erstellung von Dokumentenzusammenfassungen.
• Erste Reviews und positive Einschätzung der Funktionalitäten aus Youtube und Blog-Beiträgen
• Der Bekanntheitsgrad des Tools im wissenschaftlichen Umfeld (Anzahl an Youtube-Videos, Artikeln über das Tool in der allgemeinen Google-Suche, Blog-Seiten)

Die Wahl fiel auf folgende Tools: Elicit, Perplexity.AI, Consensus, SciSpace und Scholarcy.

Um die Test-Phase zu erleichtern und eine Vergleichbarkeit der Ergebnisse der verschiedenen Teams zu ermöglichen, erstellten die Autorinnen eine Dokumentationsvorlage im internen Wiki der ZBW. Die Vorlage beinhaltet folgende Abfragen zum Tool:

• Ein Steckbrief mit formalen Aspekten wie Entwickler*innen des Tools, Trainingsdatenbasis, Sprachmodell-Basis, Nutzungsbedingungen, Umgang mit anderen Sprachen als Englisch (Fokus auf Deutsch)
• Anwendungsfälle, die mit dem Tool abgedeckt werden
• Usability der Anwendung? Intuitiv, verständlich, transparent …
• Rechtliche Aspekte (Erhebung/Umgang mit personenbezogenen Daten, Berücksichtigung von Urheberrechten/PDF-Upload-Speicherung)
• Risiken/Nachteile und Chancen/Vorteile des Tools
• Öffentliche Meinung im Internet über das Tool
• Bearbeitung einer konkreten Aufgabe zur Suche nach Artikeln im Bereich Personalmanagement (Top-Autor*innen, Top-Artikel, Aktualität der Treffer)
• Persönliches Fazit der Kolleg*innen
• Screenshots vom Tool zum Zeitpunkt der Testphase
• Für Tools mit PDF-Upload-Funktion wurden vorab drei deutsche und drei englische PDFs mit Lizenz zur unbeschränkten Nutzung der Inhalte (CC BY Lizenz) zur Verfügung gestellt, um sicherzustellen, dass Lizenzbedingungen nicht verletzt werden.

Die Teams setzten sich pro Tool aus zwei bis drei Personen zusammen. Sie hatten drei Wochen Zeit, die Dokumentationsvorlage zu studieren und Erfahrungen mit der Anwendung zu sammeln. Die Tools sollten am Ende der zweiten Phase den anderen Kolleg*innen der Gruppe jeweils in einem 15-minütigen Präsentationsslot vorgestellt werden. Für Rückfragen und Unsicherheiten beim Anmeldeprozess oder der Analyse der „Terms of Use“ erhielten die Kolleg*innen bei Bedarf Unterstützung aus dem Lizenzmanagement und vom Datenschutzbeauftragten der ZBW.

Nach den drei Wochen Testzeit erfolgte der Tool-Vorstellungstermin, der in Summe 2,5 Stunden dauerte und online im Kreis der Gruppe Inhaltserschließung und Wissensorganisation stattfand. Ziel der Vorstellungsrunde war es, dass die Teams gegenseitig Einblicke in die jeweiligen Tools bekommen. Dieser Schritt war wichtig, um Phase 3, die Phase der Evaluierung der Tools im Hinblick auf ihren Einfluss bzw. Nutzen für die Aufgabenbereiche der Gruppe, einzuleiten.

3.3 Phase 3: Evaluieren

Mit dem gesammelten Wissen aus den Phasen der Einordnung und Exploration startete das Team in einen Ganztagesworkshop in Präsenz am Hamburger Standort der ZBW. Der Tag hatte zum Ziel, die Ergebnisse und Eindrücke aller Kolleg*innen zusammenzutragen, in den aktiven bewertenden Austausch zu kommen und gemeinsame Handlungspunkte zu identifizieren.

Der Ablauf gestaltete sich im Detail wie folgt:

Zusammenfassung und einheitlicher Stand

1. Welche Erkenntnisse hat das Team aus den vorherigen Schritten (Impulsvorträge, Toolevaluation) gewonnen?
2. Welche Use Cases für den Einsatz generativer KI gibt es im Team? (für den Einsatz generativer KI und/oder einzelnen Funktionen daraus)
3. Welchen Eindruck machen die vorgestellten Tools auf das Team?

Chancen/Risiken-Analyse

1. Welche Chancen bieten generative KI-Tools zur Erweiterung/Verbesserung der ZBW Services?
2. Welche Risiken für die ZBW sind mit diesen Tools verbunden?

Was bedeuten die Eindrücke, Chancen und Risiken für die eigene Abteilung?

1. Will das Team existierende generative KI-Tools in die eigene Arbeit integrieren?
2. Was bräuchte es hierfür? Gibt es Hürden?
3. Was bedeutet das ggf. für die eigenen Arbeitsschwerpunkte, Abläufe, Zuständigkeiten und Schnittstellen?
4. Werden andere Abteilungen in der ZBW von den Entwicklungen tangiert?

Aktionsplan festlegen

1. Wer macht was bis wann?
2. Wie will das Team in dem Themenumfeld generative KI-Tools weiter verfahren?

4. Ergebnisse des Workshops

Das Hauptanliegen der Workshop-Reihe war es, mehr Selbstvertrauen im Umgang mit dem Thema Künstliche Intelligenz im Team zu erhalten. Das heißt, zu wissen, um welche Art von Technologie es sich handelt, wie diese Technologie in groben Zügen funktioniert und wie sich diese aktuell (Stand Ende 2023) in Anwendungen manifestiert und auch welche Potenziale sie zukünftig hat. Des Weiteren sollte der Workshop dazu anregen, die Experimentierfreudigkeit und Offenheit gegenüber neuen Themen im Kollegium zu wecken bzw. auszubauen. Die Rückmeldungen aus dem Team waren sehr positiv. Unsicherheiten konnten beseitigt und ein Einstieg in die Anwendungen gefunden werden. Dass es sich hierbei um eine zusätzliche zeitliche Belastung neben dem Tagesgeschäft handelte, war der Abteilungsleitung bewusst. Das Thema war und ist allerdings so dominant im Arbeitsumfeld verankert, dass diese Zeit als wertvolle Investition in die Fortbildung der Beschäftigten zu werten ist.

Im nachfolgenden werden die konkreten Handlungsbedarfe aus dem Evaluierungsworkshop vorgestellt:

1. Das Kollegium hatte sich einen weiteren vertieften Impulsvortrag zu rechtlichen Aspekten wie Datenschutz und Copyright gewünscht. Dieser wurde im Frühjahr 2024 mit Unterstützung der Stabstelle Recht für alle interessierten Kolleg*innen der ZBW durchgeführt.
2. Es wurde der Wunsch geäußert, ZBW-Leitlinien zum Umgang mit generativen KI-Tools zu erstellen. Diese Leitlinien wurden inzwischen entworfen und befinden sich in der Abstimmung.
3. Der abteilungsübergreifende Austausch sollte noch weiter ausgebaut werden, insbesondere der Austausch mit den Benutzungsdiensten und dem EconBiz-Team. Mittlerweile fanden mit den genannten Bereichen und mit den forschungsnahen Diensten mehrere Termine zum Informationsaustausch statt.
4. Im ZBW-Wiki sollte die Wissensbasis weiter ausgebaut werden. Es wurden inzwischen neben den Steckbriefen zu den getesteten Tools weitere Bereiche zu rechtlichen Aspekten, Entwicklungen im Bibliotheksumfeld und Schulungsmöglichkeiten eingerichtet, sowie ein Glossar für die schnellere Einordnung von Begrifflichkeiten angelegt. Der Bereich ist zugänglich für alle ZBW-Beschäftigten und kann auch von allen weiter gepflegt werden.
5. Die strategische Arbeitsplanung der ZBW sollte daraufhin überprüft werden, ob Einflüsse und Potenziale der generativen KI bereits berücksichtigt wurden. Die entsprechenden Passagen z.B. die Schulungsmaterialien zur Informationskompetenz sollten um Empfehlungen im Hinblick auf den Umgang mit Werkzeugen der generativen KI überprüft und ggf. Angepasst werden.
6. Es wurde gewünscht, einen Mechanismus zum Monitoring der Entwicklung im Bereich der (generativen) KI-Tools einzurichten. Für Herbst 2024 ist ein Update-Workshop geplant, in dem die getesteten Tools auf ihre Weiterentwicklung hin betrachtet werden, aber auch neue vielversprechende Tools gesichtet und diskutiert werden sollen. Außerdem ist ein rechtliches Update geplant, wie sich derzeitige laufende Klagen und Gesetze entwickeln.

Am Ende der Reihe wurde erneut ein Mentimeter durchgeführt, um eine mögliche Veränderung des Eindrucks im Team zum Themenfeld der generativen KI-Tools zu erheben. Die Abfrage bestätigte die Hoffnung, mit der Wokshop-Reihe die Unsicherheit und Skepsis gegenüber der neuen disruptiven Technologie abzubauen, das Interesse an den Tools zu steigern aber auch eine realistische und kritische Einschätzung der Nützlichkeit der Tools zu ermöglichen.

5. Ausblick

Eine Frage, die zum Abschluss der Workshop-Reihe im Team umfassend diskutiert wurde, war, in welcher Form das Team sich in dem Themenfeld auf dem Laufenden halten möchte, um der Dynamik der Entwicklung gerecht zu werden. Auf Grund der noch ernüchternden Ergebnisse der Mitte 2023, zur Zeit des Workshops, bestehenden kommerziellen Angebote generativer KI-Tools hat sich das Team zu folgender Lösung entschlossen: Es wird im Herbst 2024 eine weitere Review-Schleife der Tools geben, der schon getesteten oder auch vielversprechender neuer Tools, und im Anschluss entschieden, ob eine kontinuierliche Beobachtung des generativen KI-Tool-Marktes inzwischen sinnvoll wäre. Die Zurückhaltung gegenüber dem Monitoring-Ansatz rührt aus dem hohen Aufwand einer umfassenden Marktbeobachtung. Die Methoden der Künstlichen Intelligenz werden in mehreren Abteilungen der ZBW im Hinblick auf verschiedenste Anwendungsbereiche untersucht und erforscht. Der abteilungsübergreifende Erkenntnisaustausch wurde bereits verdichtet und auf verschiedenen Ebenen der Austausch mit Expert*innen nationaler und vereinzelt internationaler Informationsinfrastrukturen und Bildungseinrichtungen vertieft, so dass die Gruppe zuversichtlich ist, an relevanten Entwicklungen teilhaben zu können.

In der Zwischenzeit wurde der beeindruckende Rekord von ChatGPT schon wieder in den Schatten gestellt: Die von Meta 2023 auf den Markt gebrachte Twitter-Alternative Threads erreichte bereits innerhalb einer Stunde eine Million Nutzer*innen. Es bleibt also spannend!⁶

Agnes Grützner, ZBW – Leibniz-Informationszentrum Wirtschaft, https://orcid.org/0009-0002-2199-5150
Susanne Schmucker, ZBW – Leibniz-Informationszentrum Wirtschaft, https://orcid.org/0009-0006-3756-1356

Zitierfähiger Link (DOI): https://doi.org/10.5282/o-bib/6074

Dieses Werk steht unter der Lizenz Creative Commons Namensnennung 4.0 International.