dataprocessing

43 Retrodigitalisierung und Volltexterkennung von Handschriften in nicht lateinischer Schrift

< Back to problem stories

Ein Forschender möchte einige historische Handschriften in nicht lateinischer Schrift retrodigitalisieren und eine Volltexterkennung durchführen. Dabei steht er vor dem Problem, dass die ihm bekannten Tools zur Retrodigitalisierung auf lateinischschriftliche Druckschriften ausgelegt sind und deshalb entweder nicht funktionieren oder schlechte Ergebnisse liefern. Zudem sind die Handschriften an unterschiedlichen Orten zu finden, sodass eine zentral zu verwaltende, aber ortsverteilt durchführbare Lösung wünschenswert ist. Sowohl retrodigitalisierte Bilder als auch Texte sollen nachhaltig gesichert werden. Dem Forschenden stellen sich daher einige Fragen: • Welche Hard- und Software sind für die Retrodigitalisierung und Volltexterkennung von Handschriften in nicht lateinischer Schrift notwendig? • Welche Richtlinien und Standards sind bei der Digitalisierung und Volltexterkennung von handschriftlichen Dokumenten in nicht lateinischer Schrift zu beachten? • Wie lässt sich ein solcher Digitalisierungsprozess als Workflow ortsverteilt gestalten und koordinieren? • Was für Daten entstehen bei einem solchen Digitalisierungsprozess und wie können diese nachhaltig gesichert werden?

Posted on

42 Normdaten

< Back to problem stories

Ich bin SozialhistorikerIn des spätosmanischen Nahen Ostens und habe in meinen Quellen eine große Anzahl Personen, Orte, und Institutionen identifiziert. Diese unter großem Zeitaufwand erstellten Rohdaten historischer Forschung möchte ich zur Nachnutzung als Linked Open Data im Semantic Web veröffentlichen. Existierende Normdatensätze und Plattformen zur deren Auffindung, wie z.B. Wikidata, VIAF, OCLC oder PeriodO decken mein Forschungsgebiet nur sehr mangelhaft ab, was auch daran liegt, dass die für mein Forschungsgebiet relevanten Sprachen (Arabisch, Persisch, Osmanisch) und Kalender (islamischer Mondkalender, julianischer Kalender, osmanischer Finanzkalender etc.) nur unzureichend oder gar nicht unterstützt werden. So lassen sich Namen z.B. nur in einer sehr spezifischen Transkription auffinden, aber nicht in der Schrift, Sprache und Form der Quellen. Gazeteers für das Georeferencing von Toponymen sind ebenso wie Shapefiles praktisch inexistent.

Posted on

41 Erfassung kultureller Artefakte des Globalen Südens

< Back to problem stories

Ich befasse mich mit der Geistesgeschichte des Nahen Ostens im langen 19. Jahrhundert. Dafür möchte ich den sprachlichen Wandel durch distant reading großer Korpora untersuchen. Weltweit ist eine große Anzahl von Bilddigitalisaten schriftlicher Quellen verfügbar. Allerdings ist die automatische Texterkennung auch bei sehr teuren kommerziellen Plattformen so schlecht, dass diese nicht für meine Zwecke benutzt werden können. Es gibt offene, auf maschinellem Lernen basierende und sprachagnostische Werkzeuge, wie z.B. Kraken und Tesseract, jedoch verfüge ich weder über den technischen Sachverstand noch die notwendige Rechenkapazität, um Modelle zu trainieren und dann auf potentiell hunderttausende Seiten Faksimiles anzuwenden.

Posted on

40 Software und Datenmodelle

< Back to problem stories

Ich befasse mich mit den kulturellen Artefakten außereuropäischer Gesellschaften und benötige dafür digitale Werkzeuge, die nicht schon bei der Erfassung der Daten erfordern, diese mit Modellen des Globalen Nordens im frühen 21. Jahrhundert zu beschreiben. Zur Beschreibung meines Forschungsgegenstands muss die Möglichkeit der Vielsprachigkeit und Vielschriftlichkeit gegeben sein, ohne dass eine der Sprachen Präzedenz über die anderen hat. Voller Unicodesupport auf allen Ebenen der digitalen Datenverarbeitung ist hierbei notwendig, aber nicht ausreichend (und leider auch momentan keinesfalls gegeben). Personennamen müssen jenseits von Vor- und Nachnamen beschrieben werden können. Ereignisse müssen sich jenseits des gregorianischen Kalenders mit 24 equinoctalen Stunden und einem Tagesbeginn um Mitternacht in der Zeit verorten lassen. Normalisierung ist wichtig, kann aber nicht schon bei der Datenerfassung geleistet werden, da damit eine epistemische Gewalt einhergeht, deren Auswirkungen aus den Forschungsdaten selbst nicht mehr rekonstruiert werden können.

Posted on

39 Wissen entgrenzen

< Back to problem stories

Mehrere Forschende arbeiten über verschiedene Standorte international verteilt an ihren Projekten, die einem gemeinsamen Metathema verpflichtet sind. Der Austausch mit den Projektbeteiligten an den anderen Standorten ist von zentraler Bedeutung. Ungeachtet der räumlichen, sprachlichen und fachdisziplinären Diversität benötigen alle eine gemeinsame Infrastruktur, mit der sie untereinander kommunizieren, Befunde teilen und gemeinsame Ergebnisse präsentieren können. Dazu soll auch eine multimediale Datenbank in verschiedenen Sprachen (Arabisch, Persisch und Russisch) gehören. Die Forschenden stehen vor folgenden Problemen: • Die Beteiligten der Projektgruppen sind sich unsicher, welche Kommunikationskanäle ihnen stabile Nutzungsbedingungen bieten können, zumal sie in Regionen mit unterschiedlichen, vor allem aber schwachen technischen Standards arbeiten. • Unklar ist für sie ebenso, wie sie bei der Nutzung dieser Services vor dem Verlust von Forschungsdaten gefeit sind. • Erst recht gilt dies für den Datenschutz, auf den einige von ihnen aufgrund ihrer Forschungsarbeit in politisch brisanten Regionen besonders angewiesen sind. Die Gruppe wünscht sich daher eine Forschungsumgebung, die ausfallsichere Kommunikationswege aufweist. Wichtig ist für sie die Möglichkeit, erhobene Forschungsdaten und Forschungsergebnisse ausfallsicher hinterlegen und auch untereinander austauschen zu können. Zu den Anforderungen an das Speichersystem gehört auch, dass multilinguale Texte und verschiedene Dateiformate sicher hinterlegt werden können, von Textdateien über Bildformate bis hin zu Audio- und Videomaterial. Die Gewährleistung der Datenschutzanforderungen verschiedener Jurisdiktionen ist eine besondere Anforderung.

Posted on

38 Integration von verschiedenen Datensets mit externen Werkzeugen

< Back to problem stories

Forscher_innen aus den Bereichen Geowissenschaften, Biodiversität, Archäologie, Soziologie und Geschichte befassen sich mit der Landschaftsgeschichte des Libanon über einen langen Zeitraum hinweg. Dafür möchten diese Forscher_innen ein gemeinsames Geografisches Informationssystem (GIS) aufbauen und sowohl mit Geodaten, Shapefiles als auch anderen Datenbanken als Forschungstool nutzen. Da es die für GIS notwendigen geographische Lexika (Gazetteer), die Orte mit Namen, Verwaltungseinheiten und, im besten Fall, Geodaten, für den Nahen Osten nur sehr eingeschränkt gibt, funktioniert automatisches geo-referencing häufig nicht, und Toponyme werden nur unzureichend gefunden. Die Forscher_innen aus verschiedenen Disziplinen können die überwiegende Mehrheit aller Entities von internationalen Normdatensätzen nicht gebrauchen und müssen diese erst als Grundlage definieren. Notwendig wäre daher, dass • Server-basierte Plattformen zur allgemeinen Nutzung durch Forschende zur Verfügung gestellt werden; • die erlaubten Standards nicht vordefinieren, sondern volle Anpassung an die Bedürfnisse der Nutzer_innen bei gleichzeitiger Validierung der Daten erlauben; • bei der Entwicklung und Aushandlung von Standards (in der Form von z.B. Community Standards oder Best Practices) Hilfe geboten wird.

Posted on

37 Internationale und interdisziplinäre Publikation von Forschungsdaten

< Back to problem stories

Eine Wissenschaftlerin möchte ihre Forschungsergebnisse publizieren. Da Quellen aus unterschiedlichen Ländern in Europa und darüber hinaus Gegenstand ihrer Forschung sind, möchte die Forschende eine internationale Zielgruppe ansprechen. Zudem bietet ihre Forschung Anknüpfungspunkte für nicht historische Disziplinen, sodass sie auch für nicht historisch arbeitende Wissenschaften sichtbar sein soll. Die Publikation soll frei im Internet verfügbar sein. Gemeinsam mit ihrer Veröffentlichung möchte die Forscherin zudem einige von ihr transkribierte Quellen publizieren. Allerdings steht für die Forschende nur eine kostenlose Lösung zur Debatte, da ihr keine finanziellen Mittel für eine Publikation zur Verfügung stehen. Die Forscherin ist mit folgenden Problemen konfrontiert: • Der Wissenschaftlerin ist nicht bekannt, wie sie die gewünschte internationale und interdisziplinäre Sichtbarkeit ihrer Forschung erreichen kann. • Sie kennt das internationale Publikationswesen und die damit verbundenen Stakeholder und Communities kaum. • Auch mit den organisatorischen, technischen und informationswissenschaftlichen Hintergründen des Publizierens ist sie wenig vertraut. • Daher sind der Wissenschaftlerin weder die unterschiedlichen Formate des wissenschaftlichen Publizierens noch die dazugehörigen Standards bekannt. • Sie hat auch keine Idee, wie sich eine internationale und interdisziplinäre Sichtbarkeit ihrer Forschung sowohl organisatorisch als auch technisch umsetzten lässt. • All dies macht es der Forscherin unmöglich, eine zu ihren Anforderungen passende Publikationsstrategie zu entwickeln. Die Wissenschaftlerin wünscht sich deshalb eine zentrale Plattform, die ihr dabei hilft, eine bedarfsgerechte Veröffentlichungsstrategie zu entwickeln. Von dieser Infrastruktur wünscht sich die Forscherin nicht nur Beratung zu den verschiedenen Formen und Formaten der internationalen Wissenschaftskommunikation, sondern auch zu den organisatorischen, technischen und informationswissenschaftlichen Werkzeugen, um ihre Forschung international und interdisziplinär sichtbar zu machen. Die Wissenschaftlerin wünscht sich des Weiteren, dass die Infrastruktur ihr nationale und internationale Kontakte vermittelt, die ihr beim Erreichen ihres Zieles behilflich sein können.

Posted on

36 Publizieren im Open Access

< Back to problem stories

Ein Nachwuchswissenschaftler möchte die gesammelten Beiträge einer von ihm organisierten internationalen Konferenz publizieren. Er hat leider keine finanziellen Mittel zur Verfügung, sodass er eine kostenfreie Lösung benötigt. Da die Beiträge von Forschenden aus vielen verschiedenen Ländern mit jeweils eigenen Publikationsmärkten stammen, strebt der Nachwuchswissenschaftler eine Veröffentlichung im Internet an. Diese Publikation soll weltweit kostenfrei zum Download verfügbar sein. Wichtig ist dem Forschenden auch eine redaktionelle Betreuung, da er darin ein Qualitätsmerkmal von Publikationen sieht, das seiner wissenschaftlichen Karriere zuträglich ist. Gleiches gilt für die regelkonforme Erschließung des Bandes nach den gängigen bibliothekarischen Standards und dessen langfristige Erreichbarkeit und Zitierbarkeit. Der Nachwuchswissenschaftler ist jedoch weder mit bibliothekarischen Standards, noch mit den unterschiedlichen Formaten von Veröffentlichungen und Wissenschaftskommunikation im Open Access vertraut. Aufgrund dessen wünscht sich der Nachwuchswissenschaftler eine Publikationsplattform, über die er die gesammelten Beiträge online im Open Access publizieren kann. Diese Plattform soll eine eigene Redaktion besitzen, und umfassende Metadaten aufweisen, die einsehbar und downloadbar sind. Die Redaktion soll den Nachwuchswissenschaftler außerdem zu den unterschiedlichen Formen wissenschaftlicher Dissemination und Publikation sowie den dazugehörigen technischen und informationswissenschaftlichen Hintergründen beraten. Jeder einzelne Beitrag des Sammelbandes soll durch persistente Identifikatoren dauerhaft zitierbar und durch backup-Systeme und digitale Langzeitarchivierung auch langfristig erreichbar sein.

Posted on

35 Bildungs- und Armutsgeschichte im außereuropaeischen Raum

< Back to problem stories

Die Erforschung der Geschichte des betreffenden Landes steht vor grundsätzlichen Problemen hinsichtlich der Quellenlage. Zu nennen ist hier eine langjährige Vernachlässigung der einschlägigen Archivbestände, dann eine unzureichende Finanzierunggrundlage für die Sammlung, sachgerechte Unterbringung und vor allem systematische Katalogisierung und archivarische Erschließung von Quellen. Diese Probleme haben der Geschichtsforschung zu diesem Land nicht nur in Deutschland, sondern weltweit erhebliche Schwierigkeiten bereitet. Um diesem unhaltbaren Zustand in ersten Schritten abzuhelfen, hat ein Pilotprojekt verschiedenes Material gesammelt und dabei einen thematischen Schwerpunkt auf die Bildungsgeschichte gelegt. Dieses Quellenmaterial wurde in einer Zotero basierten Datenbank erschlossen. Des Weiteren ist ein Korpus von Audiomaterial entstanden, das Oral History Interviews zusammenführt. Zu den Tonaufnahmen gibt es auch entsprechende Transkriptionen. Diese Bestände sind in einem Forschungsinstitut aufbewahrt, können dort auf Anfrage kostenlos benutzt werden, was auch regelmäßig und intensiv geschieht. Der Erfolg des Pilotprojekts, in dem wertvolle Datenbestände erschlossen wurden, zeigt sich nicht zuletzt in der intensiven Nachnutzung der erschlossenen Materialien. Daraus leiten sich allerdings weitere Fragen für die fortdauernde Verfügbarkeit der Daten für die Wissenschaft ab: • Wie können die Datenbestände angesichts der intensiven Nutzung besser aufbereitet werden? Und welche Vorkehrungen muss man treffen, um einen erweiterten Nutzerkreis sowohl in Deutschland als auch international zu erreichen? • Welche Maßnahmen sind für eine langfristige Verfügbarkeit und dauerhafte Bereitstellung der Bestände zu ergreifen? • Welche Datenformate kommen hierfür infrage? Müssen also die derzeit vorhandenen Daten nochmals bearbeitet, transformiert und migriert werden? Gibt es für ein solches Szenario musterhafte Workflows? Dies auch, da das Projekt abgeschlossen ist und keine weitere Finanzierung dafür in Aussicht steht?

Posted on

34 Arbeitsgeschichte: Prozess und Alltag in historischer Perspektive

< Back to problem stories

Ein internationales Projekt mit starker außereuropäischer Beteiligung untersucht die Geschichte der Arbeit eines außereuropäischen Landes seit dem 20. Jahrhundert als Prozess- und Erfahrungsgeschichte. Zum einen beinhaltet dies die Untersuchung des Wandels von Arbeitsprozessen, Arbeitswissen und betrieblicher Arbeitsorganisation seit den Anfängen des industriellen Kapitalismus. Zum anderen liegt ein Forschungsschwerpunkt auf der Alltagsgeschichte der modernen Arbeit anhand oraler und schriftlicher Selbstzeugnisse. Da auch die Quellengrundlage auch auf vielen außereuropäischen, nichtlateinischen Sprachen basiert, entsteht im Rahmen des Projekts ein in seiner Art einzigartiger, vielsprachiger Archivbestand. Er soll nicht nur die Projektarbeit dokumentieren, sondern auch der wissenschaftlichen Öffentlichkeit als Ressource zu weiteren Forschungen Open Access zur Verfügung gestellt werden. Das wissenschaftliche Design des Projekts ist fixiert. Doch es gibt offene Fragen im Hinblick auf die Aufnahme, Erschließung und Bereitstellung des mehrsprachigen Archivbestands für eine frei verfügbare digitale Präsentation: • Welche technischen Werkzeuge sind für die Erstellung und Publikation der Daten notwendig? • Gibt es hierfür Standards und Formate, die sich besonders dafür eignen? • Wie kann das Projekt mit Fragen des Datenschutzes bei personenbezogenen Daten umgehen? Hat dies Auswirkungen auf die Lizenzierung, gerade weil eine freie Verfügbarkeit der Daten angestrebt wird? • Was muss man im Projekt beachten, damit die Daten für eine langfristige Zugänglichkeit und eine nachhaltige Speicherung aufbereitet werden?

Posted on