Qualität in der Inhaltserschließung / herausgegeben von Michael Franke-Maier, Anna Kasprzik, Andreas Ledl und Hans Schürmann. – Berlin, Boston: De Gruyter Saur, 2021. – VI, 420 Seiten : Illustrationen. – (Bibliotheks- und Informationspraxis ; Band 70). – ISBN 978-3-11-069149-8 : EUR 69.95 (auch als E-Book im Open Access verfügbar unter https://doi.org/10.1515/9783110691597)

Seit dem Jahr 2017 ist die Frage, welchen Qualitätskriterien die inhaltliche Erschließung von Informationsressourcen verpflichtet sein soll, eines der großen Themen in der bibliothekarischen Community des deutschsprachigen Raums. Damals hatte sich Klaus Ceynowa, der Generaldirektor der Bayerischen Staatsbibliothek, in einem Artikel, der in der Frankfurter Allgemeinen Zeitung erschienen war und schon allein dadurch ein hohes Maß an Aufmerksamkeit und Wirkmächtigkeit erreichte, kritisch mit der Inhaltserschließungspraxis der Deutschen Nationalbibliothek (DNB) auseinandergesetzt.1 Im Fokus der Kritik standen die Resultate maschineller Inhaltserschließung, die nun nicht mehr nur in Bezug auf elektronische Publikationen, sondern auch auf die Reihen B und H der Deutschen Natio­nalbibliografie Anwendung fand und perspektivisch auf die Reihe A, also Verlagspublikationen, ausgeweitet werden sollte. Im Gleichklang mit Ceynowa äußerten sich zahlreiche Stimmen aus dem Bibliothekswesen kritisch zu den Ergebnissen des von der DNB zur Verschlagwortung eingesetzten maschinellen Verfahrens, wobei sich die eine oder andere Stellungnahme nicht nur durch einen hohen Erkenntniswert auszeichnete, sondern auch – eher ungewöhnlich für bibliothekarische Themen – wegen der integrierten Beispielsammlung besonders misslungener Erschließungsergebnisse einen beträchtlichen Unterhaltungswert aufwies.2 Die anfangs gelegentlich etwas polemisch geratene Gegenüberstellung von intellektueller und maschineller Inhaltserschließung ist in den letzten Jahren dem Bestreben gewichen, beide Erschließungsvarianten miteinander zu harmonisieren. Grundlegend bleibt dabei aber die Frage nach der Qualität der inhaltserschließenden Daten, seien sie intellektuell oder maschinell generiert. Die Festlegung verbindlicher Maßstäbe, Standards und Kriterien, die eine qualitativ hochwertige Inhaltserschließung definieren, hatte Michael Franke-Maier bereits in einem 2018 erschienenen Artikel eingefordert, in dem er verschiedene Dimensionen von Qualität unterschied.3 Nun greifen er und seine Mitherausgeber*innen Anna Kasprzik, Andreas Ledl und Hans Schürmann dieses Thema in dem vorliegenden Band wieder auf.

Insgesamt liefern die 18 hier versammelten Beiträge in eindrucksvoller thematischer Breite Vorschläge und Beispiele, wie Qualität in verschiedenen Bereichen bibliothekarischer Inhaltserschließung umzusetzen und zu gewährleisten ist. Angesichts der Vielfalt des behandelten Themenspektrums muss an dieser Stelle darauf verzichtet werden, jeden einzelnen der durchwegs höchst aufschlussreichen Artikel in seiner inhaltlichen Ausprägung darzustellen. Hierfür sei auf das Editorial des Bandes verwiesen, das alle Beiträge in der gebotenen Kürze präsentiert (S. 8–15) und – wie der gesamte Band – erfreulicherweise im Open Access zugänglich ist. Stattdessen sollen im Folgenden thematische Cluster gebildet und dabei ausgewählte Artikel vorgestellt werden, deren Inhalte das jeweilige Themengebiet repräsentieren.

Während das Gros der Beiträge gegenwartsorientiert Probleme der Qualitätssicherung aufzeigt, Lösungsansätze darlegt und Entwicklungsperspektiven vorschlägt, wählen zwei Aufsätze eine historische Perspektive. So bietet Andreas Ledl mit seinem Überblick über das Qualitätsstreben der bibliothekarischen Inhaltserschließung in den Jahren 1970 bis 2020 eine hilfreiche Hinführung zum Thema, wohingegen Ulrike Junger und Frank Scholze ihren Fokus enger fassen und die Entwicklung der Inhaltserschließungspolitik an der DNB seit 2010 referieren. Ihr Hauptaugenmerk gilt dabei dem Einsatz maschineller Erschließungsverfahren ebenso wie der Frage nach der Qualität der damit generierten Erschließungsergebnisse. Mit dem Verweis auf die „Strategischen Prioritäten 2021–2024“ der DNB geben sie jedoch auch einen Ausblick auf die Weiterentwicklung der Inhaltserschließungspolitik in den kommenden Jahren.4

Einen multiperspektivischen Zugang zu der Frage, was Qualität in der Inhaltserschließung ausmacht und wie diese zu gewährleisten sei, bietet das Expertenteam RDA-Anwendungsprofil für die verbale Inhaltserschließung (ET-RAVI), ein Gremium des Standardisierungsausschusses, in einem kurzen, aber ungemein gehaltvollen Beitrag. Hinsichtlich der Kriterien, die einer qualitativ hochwertigen Inhaltserschließung zugrunde liegen sollen, werden dabei vier Qualitätsdimensionen unterschieden: die Erfassungsregeln für das Generieren von Normdaten, die Verwendungsregeln für die inhaltliche Erschließung von Informationsressourcen, die transparente Auswertung inhaltserschließender Metadaten durch Retrievalsysteme und die Öffnung von Datenkorpora für die Nachnutzung in wissenschaftlichen Kontexten. Jede dieser vier Qualitätsdimensionen wird zudem durch eine differenzierte Auflistung konkreter Anforderungen spezifiziert.

Zwei Beiträge widmen sich dem Themenkreis Wissensbasen und Normdaten und ihrer Nutzung für eine effektive und nutzungsorientierte verbale Inhaltserschließung. Esther Scheven beschäftigt sich in diesem Zusammenhang mit der Gemeinsamen Normdatei (GND). Nach einem Überblick über deren Entstehung stellt sie verschiedene Maßnahmen zur Qualitätssicherung in der GND dar, der hinsichtlich der Öffnung der GND für nichtbibliothekarische Anwendergruppen und der sich daraus ergebenden Einspielung von Fremddaten eine hohe Bedeutung zukommt. Neben der GND findet verstärkt auch Wikidata als Wissensbasis Verwendung in inhaltserschließenden Projekten. Lydia Pintscher, Peter Bourgonje, Julián Moreno Schneider, Malte Ostendorff und Georg Rehm befassen sich in ihrem Beitrag mit der Nutzbarmachung von Wissensbasen im Rahmen automatisierter Erschließungsverfahren und setzen sich konkret mit der Qualität der Daten in Wikidata auseinander. Sicherlich tragen das Grundprinzip der Offenheit und der Community-Charakter, denen Wikidata verpflichtet ist, zum weltweiten Erfolg und zur vermehrten Nutzung als Wissensbasis bei. Zu Recht wird jedoch auf die Gefahr hingewiesen, dass Wikidata aus diesem Grund auch verstärkt zum Ziel von Kampagnen werden könne, die im Rahmen von gezielten Sabotageakten Falschinformationen in Wikidata verankern. Dies stelle eine umso größere Herausforderung an die Community dar, welche die Qualität der Daten dauerhaft sicherstellen müsse.

Mit den Möglichkeiten des Datenaustauschs und der Anreicherung mit inhaltserschließenden Metadaten beschäftigt sich eine weitere Gruppe von Beiträgen. Während sich Cyrus Beck mit der Qualität der Fremddatenanreicherung im Kontext des Projekts FRED befasst, das 2017 von der Zentralbibliothek Zürich und den Universitätsbibliotheken Basel und Bern umgesetzt wurde, stellen Uma Balakrishnan, Stefan Peters und Jakob Voß in einem gemeinsamen Beitrag coli-conc vor. Coli-conc, von der Verbundzentrale des GBV entwickelt, bietet die technische Infrastruktur für das Erstellen von Mappings zwischen Wissensorganisationssystemen und unterstützt Datenaustausch- und Anreicherungsprozesse. Eine zentrale Anwendung stellt das Mapping-Tool Cocoda dar, mit dessen Hilfe auf einfache Weise intellektuelle Mappings zwischen Notationen verschiedener bibliothekarischer Klassifikationen generiert werden können. Auch der von Rita Albrecht, Barbara Block, Mathias Kratzer und Peter Thiessen gemeinsam verfasste Beitrag, der die Rolle der Bibliotheksverbünde bei der Optimierung der Inhaltserschließung in den Blick nimmt, fokussiert sich auf das Thema Datenanreicherung. Überzeugend bewerten die Verfasser*innen in diesem Zusammenhang Quantität und Qualität nicht etwa als einander gegenüberstehende Kategorien. Stattdessen verweisen sie mit Recht auf den Umstand, dass sich aus Perspektive der Nutzer*innen die Qualität bibliothekarischer Rechercheinstrumentarien in einem Information Retrieval ausdrückt, das einen hohen Recall liefert. Entscheidend sei demnach neben der inhaltlichen und formalen Qualität der inhaltserschließenden Metadaten auch ihre Quantität. Diese könne man auf unterschiedliche Arten in den Verbundsystemen steigern. Als Beispiele werden der Einsatz effizienter Sacherschließungstools wie etwa des Digitalen Assistenten (DA-3) oder von hebis-SET zur Unterstützung der intellektuellen Inhaltserschließung genannt, vor allem aber die Nachnutzung der Inhaltserschließung der DNB, der Datentausch zwischen den Verbünden und andere Anreicherungsprojekte. Besonders eindrucksvoll und leistungsstark erscheint in dieser Hinsicht das Projekt Culturegraph der DNB. Dabei handelt es sich um ein Werkclusterverfahren, das in einem ersten Schritt aus den Katalogdaten eines Verbundes oder aller deutschsprachigen Verbünde die Metadaten der gesamten Manifestationen eines Werks zu einem Cluster zusammenführt. Anschließend werden die vorhandenen inhaltserschließenden Metadaten einer Manifestation auf alle anderen Manifestationen in diesem Cluster übertragen. Ausgaben und Auflagen ein und desselben Werks, die bisher nicht inhaltlich erschlossen waren, können auf diesem Wege effizient mit GND-Schlagwörtern, Schlagwortfolgen und Notationen, die von anderen Manifestationen aus demselben Cluster stammen, angereichert werden.

Eine Studie zur automatisierten Anreicherung von digitalisierten Volltexten mit inhaltserschließenden Metadaten aus der GND und aus Wikidata präsentiert ein aus Sina Menzel, Hannes Schnaitter, Josefine Zinck, Vivien Petras, Clemens Neudecker, Kai Labusch, Elena Leitner und Georg Rehm bestehendes Team von Autor*innen. Grundlage ihrer Untersuchung ist das Projekt SoNAR, in dessen Rahmen Daten von Gedächtnisinstitutionen für die Bedarfe der Digital Humanities – konkret für die Historische Netzwerkanalyse – aufbereitet werden. Über maschinelle Verfahren werden dabei in einem Textkorpus zunächst Personen, Orte, Körperschaften, Ereignisse und andere Named Entities identifiziert (= Named Entity Recognition) und ausgezeichnet. Weiterhin werden die Named Entities mit dem entsprechenden Schlagwort in einer Normdatei verknüpft (= Named Entity Linking) und im Rahmen einer Volltextsuche recherchierbar gemacht. Der Qualitätsgewinn für Nutzer*innen liegt dabei in dem Mehrwert, den eine semantische Suche gegenüber einer Stichwortsuche im Volltext bietet. Analog zu einer Schlagwortsuche im Bibliothekskatalog kann man so gezielt im Textkorpus nach bestimmten Entitäten recherchieren und dabei etwa irrelevante Homonyme ausschließen. Außerdem enthält die Treffermenge neben dem gesuchten Begriff auch die in der betreffenden Normdatei aufgeführten Synonyme.5 Darüber hinaus kann auch nach weiteren Begriffen, die in Beziehung zu dem Suchbegriff stehen und in der Normdatei verzeichnet sind, recherchiert und somit der Suchfokus erweitert werden. Zudem lässt sich der Suchraum auf andere Datenbanken ausdehnen, die ebenfalls mit der betreffenden Normdatei verlinkt sind. Ein interessantes Ergebnis der vorgelegten Studie ist die Feststellung, dass sowohl die GND als auch Wikidata nur etwa die Hälfte der Entitäten enthalten, die für die Auszeichnung der im Rahmen einer Stichprobe ausgewerteten Volltexte notwendig gewesen wären. Vor allem zahlreiche (historische) Personen, Körperschaften und Ereignisse waren in den beiden Wissensbasen nicht verzeichnet.

Grundlage für eine effektive Nutzung digitalisierter Volltexte, die mit inhaltserschließenden Metadaten angereichert sind, ist dabei eine hohe Qualität der Optical Character Recognition (OCR), durch die der Text (retro-)digitalisierter Dokumente erst maschinell lesbar und verarbeitbar wird. Am Beispiel retrodigitalisierter Zeitungen zeigen Clemens Neudecker, Karolina Zaczynska, Konstantin Baierer, Georg Rehm, Mike Gerber und Julián Moreno Schneider in einem gemeinsamen Beitrag die Herausforderungen bei der OCR-Bearbeitung in Bezug auf Texterkennung, Layoutanalyse und die Erkennung von Strukturen und Textabschnitten auf. Anwendungsbezogen haben sie dabei ebenfalls vor allem die Bedarfe der Digital Humanities im Blick, deren Forschungsergebnisse in hohem Maße von einer qualitativ hochwertigen OCR-Bearbeitung der untersuchten digitalen Textkorpora abhängig sind.

Nicht mit dem bedeutungstragenden Inhalt, sondern mit der Form inhaltserschließender Daten, deren Qualität sich auch in ihrer Lesbarkeit und Verarbeitbarkeit ausdrücke, beschäftigt sich Jakob Voß. Um die Nachnutzung und den Austausch vorhandener Inhaltserschließungsdaten zu gewährleisten, seien nicht nur Regeln für die Befüllung der einzelnen Datenfelder festzulegen (und einzuhalten), sondern diese seien auch angemessen zu dokumentieren.

Die vom ET-RAVI geforderte Optimierung des Information Retrievals durch eine Verbesserung der Recherchewerkzeuge, um eine effektive Auswertung aller inhaltserschließenden Metadaten zu ermöglichen sowie den Endnutzer*innen erweiterte Suchmöglichkeiten zu bieten, stellt einen weiteren Qualitätsaspekt dar, der in mehreren Beiträgen aufgegriffen wird. Heidrun Wiesenmüller, die sich in ihrem Artikel mit den Funktionen inhaltlicher Erschließung befasst, unterscheidet bezüglich der Funktion, Zugang zu Informationsressourcen zu bieten, zwei Recherchearten, die durch ein adäquates Information Retrieval unterstützt werden sollen: Die „präzise Recherche“, d.h. die konkrete Suche nach einem bestimmten Thema, und die „Überblicksrecherche“, also eine weiter gefasste Suche nach einem größeren Themenfeld. Ergänzt würden beide Suchverfahren durch die Option, mithilfe einer differenzierten Filterfunktion Treffermengen thematisch einzugrenzen. Neben dem Zweck, das Auffinden von Medien im Zuge einer thematischen Recherche zu ermöglichen, haben inhaltserschließende Angaben zudem die Aufgabe, durch die in den Katalogisaten transportierten Informationen den Endnutzer*innen „Orientierung“ zu bieten, d.h. sie darüber zu informieren, welches Thema in einem Werk repräsentiert ist. Darüber hinaus solle im Rahmen der Explorationsfunktion auch ermöglicht werden, durch ein freies, nicht zielgerichtetes Navigieren in Katalog oder Discovery-System inhaltlich nützliche Ressourcen zu entdecken. Hierfür bedürfe es adäquater Suchwerkzeuge, die im Idealfall intuitiv bedienbar sein und den Endnutzer*innen vielfältige Möglichkeiten zur Interaktion bieten sollten. Die Option, in einem Online-Katalog oder Discovery-System unmittelbar nach GND-Schlagwörtern und den hierarchisch über- und untergeordneten sowie den thematisch verwandten Begriffen suchen zu können, würde die Rechercheoptionen der Endnutzer*innen beträchtlich erweitern.6 Ergänzend dazu bieten Rudolf Ungváry und Péter Király in ihrem Beitrag zur Qualitätsbewertung von MARC-21-Datensätzen einen weiteren Optimierungsvorschlag: Sie regen an, Bibliothekskataloge so zu ertüchtigen, dass die mithilfe einer Schlagwortsuche gewonnene Treffermenge um solche Titel erweitert werden könne, die mit einer Notation aus einem Klassifikationssystem erschlossen sind, deren Benennung dem Inhalt der Schlagwortsuche entspricht.

Jan Frederik Maas fordert in seinem Beitrag, dass nicht nur die bibliothekarische Inhaltserschließung, sondern auch die Entwicklung von Discovery-Systemen nutzungsorientiert anhand spezifischer Anwendungsfälle zu gestalten sei. Um eine effektive Umsetzung unterschiedlicher Rechercheoptionen mit nutzungsfreundlicher Funktionalität zu erreichen, plädiert er für die konsequente Einbindung von Expert*innen der bibliothekarischen Inhaltserschließung in die Entwicklung von Discovery-Systemen. Neben den Metadaten, ihrer Erfassung, Verwendung, Kuratierung, Darstellung, Auswertung und Anreicherung widmet sich der Band also noch einer weiteren Qualitätsdimension, die ebenfalls eine wichtige Grundlage für eine qualitativ hochwertige Inhaltserschließung darstellt: der Dimension „Mensch“. Menschen spielen in Bezug auf die Frage nach einer qualitätvollen Inhaltserschließung eine zweifache Rolle: Einmal als Anwender*innen bibliothekarischer Regelwerke und aktive Nutzer*innen von Normdaten im Prozess der intellektuellen Erschließung, zum anderen als Endnutzer*innen mit spezifischen Suchmethoden und Erwartungshaltungen an die Leistungsfähigkeit von Rechercheinstrumenten. Bei den Endnutzer*innen lassen sich mit der von Heidrun Wiesenmüller vorgeschlagenen Differenzierung „Normalnutzer*innen“ von „Expert*innen“ unterscheiden – mithin zwei Zielgruppen, die sich in ihrer Sachkompetenz wie in ihren Recherchegewohnheiten voneinander abgrenzen lassen. Die Ergebnisse einer anwenderspezifischen Inhaltserschließung müssten daher mit Blick auf verschiedene Zielgruppen, ihre Bedarfe und Erwartungen unterschiedlich ausfallen.7 Neben der von Jan Frederik Maas angeregten Konzeption von „Personas“ oder dem Rückgriff auf die Methode des „Scenario Based Design“8 stellt der in mehreren Beiträgen formulierte Vorschlag, den Endnutzer*innen ein Feedback zur Bewertung der Nützlichkeit bibliothekarischer Suchwerkzeuge und inhaltserschließender Daten zu ermöglichen,9 eine wünschenswerte Option dar, um Bedarfe verschiedener Gruppen von Endnutzer*innen zu erheben.

Mit Blick auf die Menschen, die sich aktiv in der intellektuellen Inhaltserschließung, in Projekten zur maschinellen Erschließung und in regionalen oder überregionalen Gremien der Inhaltserschließung engagieren, wäre es durchaus interessant, auch die strategischen und institutionellen Rahmenbedingungen etwas genauer zu betrachten, unter denen Sacherschließung in Bibliotheken betrieben wird. Da die im Prozess der intellektuellen Inhaltserschließung gewonnenen Metadaten als Trainingsdaten für maschinelle Verfahren herangezogen werden und die Ergebnisse maschineller Inhaltserschließung – zumindest in Stichproben – wiederum intellektuell überprüft werden, um ihre Qualität zu bestimmen, erscheint eine hochwertige intellektuelle Inhaltserschließung auch als Voraussetzung dafür, eine höhere Akzeptanz von maschinell generierten, inhaltserschließenden Daten zu erreichen.10 Die Frage nach bibliothekspolitischen und organisatorischen Kriterien, die sich qualitätsfördernd oder qualitätshemmend auf die Inhaltserschließung auswirken können, erscheint auch vor diesem Hintergrund als berechtigt.

Die hohe Bedeutung, die der inhaltlichen Erschließung von Informationsressourcen und ihren qualitativen Ansprüchen in der bibliothekarischen Öffentlichkeit beigemessen wird und die sich in zahlreichen Arbeitsgruppen, Tagungen, Workshops und Publikationen zu diesem Themenkreis widerspiegelt, sollte nicht darüber hinwegtäuschen, dass die Inhaltserschließung mit anderen strategischen Handlungsfeldern des Bibliothekswesens konkurriert. Bibliothekspolitisch ist daher auch generell die Frage zu stellen, wo innerhalb des „Magischen Dreiecks“ des (Projekt-)Managements, das durch die drei Eckpunkte (niedrige) Kosten, (geringer) Zeitaufwand und (hohe) Qualität gebildet wird, die intellektuelle Inhaltserschließung, die (Weiter-)Entwicklung (semi-)automatisierter Inhaltserschließung und das Engagement in Sacherschließungsgremien verortet werden. Freilich haben alle diese Bereiche keinen Projektcharakter, sondern sind vielmehr als eine Daueraufgabe der betreffenden Institutionen zu betrachten. Gerade bei der intellektuell vollzogenen Inhaltserschließung hängen Qualität und Quantität unmittelbar von der dafür verfügbaren Arbeitszeit und der Bereitschaft ab, die sich daraus ergebenden (Personal-)Kosten zu tragen. Die im Editorial dieses Bandes formulierte Befürchtung, der Einsatz maschineller Erschließungsverfahren könne angesichts knapper personeller und finanzieller Ressourcen primär als ein Mittel zur Effizienzsteigerung und zur Kostenreduktion interpretiert werden (S. 3), zielt in eben diese Richtung. Eine solche Sichtweise birgt jedoch die Gefahr, Quantität über Qualität zu stellen und damit gleichermaßen den Anspruch wie die Kernkompetenz der wissenschaftlichen Bibliotheken zu konterkarieren, mittels einer an den Bedarfen der Kund*innen orientierten Inhaltserschließung ein zeiteffizientes und zielgenaues Auffinden möglichst aller relevanten Titel zu einem recherchierten Thema zu ermöglichen. Dem „Appell an die strategische Managementebene“ (S. 4), die Inhaltserschließung generell in ihrer Relevanz anzuerkennen und sich an entsprechenden Qualitätsstandards zu orientieren, ist daher schon im Sinne des Servicegedankens bibliothekarischer Dienstleistungen unbedingt beizupflichten. Welchen Standards der Qualitätsaspekt in verschiedenen Teilbereichen der Inhaltserschließung verpflichtet sein sollte, dafür liefert der vorliegende Band eine Fülle an spannenden Anregungen und überzeugenden Beispielen.

Martin Völkl, Universitätsbibliothek Augsburg

Zitierfähiger Link (DOI): https://doi.org/10.5282/o-bib/5843

Dieses Werk steht unter der Lizenz Creative Commons Namensnennung 4.0 International.

1 Ceynowa, Klaus: In Frankfurt lesen jetzt zuerst Maschinen, in: Frankfurter Allgemeine Zeitung, 31.07.2017. Online: <https://www.faz.net/aktuell/feuilleton/buecher/maschinen-lesen-buecher-deutsche-nationalbibliothek-setzt-auf-technik-15128954.html>, Stand: 15.07.2022.

2 Vgl. Wiesenmüller, Heidrun: Maschinelle Indexierung am Beispiel der DNB. Analyse und Entwicklungsmöglichkeiten, in: o-bib 5 (4), 2018, S. 141–153, hier S. 143–149. Online: <https://doi.org/10.5282/o-bib/2018H4S141-153>, sowie dies.: RSWK reloaded – Verbale Sacherschließung im Jahr 2018, in: BuB 70 (1), 2018, S. 26–29, hier S. 28. Online: <https://nbn-resolving.org/urn:nbn:de:0290-opus4-160857>.

3 Franke-Maier, Michael: Anforderungen an die Qualität der Inhaltserschließung im Spannungsfeld von intellektuell und automatisch erzeugten Metadaten, in: ABI Technik 38 (4), 2018, S. 327–331. Online: <https://doi.org/10.1515/abitech-2018-4005>.

4 Deutsche Nationalbibliothek: Strategische Prioritäten 2021–2024. Online: <https://d-nb.info/1224705858/34>.

5 Zu den Vorteilen einer semantischen Suche siehe im selben Band auch Sack, Harald: Hybride Künstliche Intelligenz in der automatisierten Inhaltserschließung, S. 387–405, hier S. 398f.

6 Vgl. im selben Band auch Maas, Jan Frederik: Inhaltserschließung für Discovery-Systeme gestalten, S. 303–324, hier S. 307.

7 Vgl. auch Wartena, Christian; Golub, Koraljka: Evaluierung von Verschlagwortung im Kontext des Information Retrievals, S. 325–348, hier S. 328.

8 Vgl. Maas: Inhaltserschließung für Discovery-Systeme gestalten, S. 320-322.

9 Vgl. im selben Band Laczny, Joachim: Fit for Purpose – Standardisierung von inhaltserschließenden Informationen durch Richtlinien für Metadaten, S. 35–54, hier S. 44 und 47. Ebenso Pintscher, Lydia; Bourgonje, Peter; Moreno Schneider, Julián u.a.: Wissensbasen für die automatische Erschließung und ihre Qualität am Beispiel von Wikidata, S. 71–92, hier S. 83, und auch Wiesenmüller, Heidrun: Verbale Erschließung in Katalogen und Discovery-Systemen – Überlegungen zur Qualität, S. 279–301, hier S. 291, sowie Wartena; Golub: Evaluierung von Verschlagwortung, S. 338.

10 Auf das Problem der mangelnden Akzeptanz maschinell generierter Inhaltserschließung verweist auch Sack, Harald: Hybride Künstliche Intelligenz in der automatisierten Inhaltserschließung, S. 402.