dataprocessing

< Back to problem stories

Unsere Arbeitsgruppe führt eine semi-automatische prosopgraphische Auswertung durch, in welcher wir spätmittelalterliche Gelehrtenkarrieren untersuchen. Geeignete Quellen hierfür liegen bereits in digitalisierter Form vor, teilweise sind sie mit TEI oder vergleichbaren Formaten ausgezeichnet. Die Daten sind entweder über eine Schnittstelle abfragbar oder als Data-Dump verfügbar. Innerhalb der entsprechenden Texte werden verschiedene Orte genannt, deren Ortsnamen durch die mittelalterlichen Schreiber der Texte in einer nicht normierten latinisierten Schreibweise aufgezeichnet wurden. Dadurch können wir die genannten Orte aktuell noch nicht automatisch referenzieren. Zur Identifikation der Orte haben wir nach einer georeferenzierte Ortsnamen-Datenbank gesucht, welche die historischen Schreibweisen eines Ortsnamen in lateinischer und deutscher Sprache enthält. Dabei stießen wir auf die Ortsnamen-Datenbank der Monumenta Germaniae Historica (http://www.mgh.de/dmgh/imgh/geo/), die für die darin enthaltenen Orte die entsprechenden Geo-Daten und deren unterschiedlichen lateinischen Schreibweisen bereit stellt. Allerdings mussten wir feststellen, dass die MGH-Datenbank nur einen Bruchteil der in unseren Texten aufgeführten Orte enthält. Zudem stellte sich bei unserer Arbeit heraus, dass die Datenbank die darin enthaltenen Namensformen für Suchanfragen nicht expandiert, d.h. die Suche erfolgt nur in den ausgeschriebenen Namensformen und nicht in Namensformen, die mit einer abweichenden Wortendung angegeben sind. In einem zweiten Schritt wollten wir dann den Teil der durch die MGH-Datenbank referenzierten Orte auf einer Karte abtragen. Dabei mussten wir feststellen, dass es hierfür kein geeignetes historisches Kartenmaterial in digitalisierter Form vorhanden ist. Soweit wir beurteilen können, gibt es keine mit Open Access verfügbaren Karten für Mitteleuropa, welche die unterschiedlichen historische Zeitstufen der Grenzen der weltlichen und kirchlichen Entitäten abbilden. Die meisten Studien nutzen entweder moderne Google Maps-Karten oder Scans von historischen Atlanten.

Task Area

Perspective

Tags

< Back to problem stories

Aus der Praxis meiner Arbeit mit in verschiedenen Ländern verstreuten und in unterschiedlichen Sprachen verfassten historischen Quellen zu einem geschichtspolitisch kontroversen Thema gibt es v.a. drei Problemfelder: Rechte, Erfassung/Auswertung, Nutzung. Auch wenn mir Daten zur wissenschaftlichen Auswertung bereitgestellt werden, haben mir fast alle Rechteinhaber, darunter Archive sowie Privatpersonen, die elektronische Publikation (z.B. auf meinem Forschungsblog) oder die Weitergabe der Daten an Dritte untersagt. Jegliche Publikation der Daten kann daher nur bruchstückhaft bleiben. Dadurch entsteht eine erhebliche Schieflage des Erkenntnisgewinns, da ich nur solche Quellen allgemein zugänglich machen kann, deren Rechteinhaber ein - manchmal zweifelhaftes - Interesse an ihrer Publikation haben. Die vergleichende Auswertung der Daten wird in meinem Fall dadurch erschwert, da ich neben deutsch- und englischsprachigen Quellen auch mit japanisch- und chinesischsprachigem Material arbeite. Mir ist keine technische Infrastruktur bekannt, in der sich z. B. systematische Übersetzungsvergleiche durchführen ließen zwischen Quellen, die in mehreren lateinischen und nicht-lateinischen Schriften vorliegen. Die Schaffung und Bereitstellung solcher Infrastrukturen, die auch nicht-lateinische Schriften berücksichtigt, sind wesentlich für die Integration von Forschungsergebnissen aus den area studies in die Fachdisziplinen. Abschließend stellt sich für mich die Frage, warum ich zeit- und kostenintensiv zusammengetragenes, schwer zugängliches historisches Quellenmaterial ohne „incentives“ anderen Forschern zur Verfügung stellen sollte. Abhilfe könnte eine Übereinkunft schaffen, wonach Erstnutzer oder „Entdecker“ solcher Quellen, die einen erheblichen Beitrag zur Erschließung und Bereitstellung geleistet haben, in Arbeiten anderer Wissenschaftler genannt werden müssen und dies in der Forscher-Community als bedeutsame Forschungsleistung (ähnlich der Grundlagenforschung in Naturwissenschaften) Anerkennung findet. Das geschieht bisher nicht oder nur unzureichend. Stattdessen können sich etablierte Wissenschaftler mit besserem Zugang zu Publikationsoptionen bei der „Grundlagenforschung“ Anderer unbeschränkt bedienen, ohne dass dies als Plagiat geahndet wird, weil es sich um frei zugängliche Primärliteratur handelt. Hier müsste es an der Antrags- oder Publikationsschwelle (Verlage, Forschungsförderorganisationen etc.) einen Mechanismus geben, der dies verhindert und geisteswissenschaftliche Grundlagenforschung honoriert.

Task Area

Perspective

Tags

< Back to problem stories

In unserem familienkundlichen Verein wird seit den 1990er Jahren immer wieder der Wunsch laut, dass eine gemeinsame Familiendatenbank aufgebaut wird, an der alle Mitglieder gleichzeitig mitarbeiten können. Ziel wäre es, dass eine Person jeweils nur einmal in der Datei auftaucht, und dass sowohl die Originalquellen (z.B. Kirchenbücher oder Volkszählungslisten) als auch die Kontaktdaten der Bearbeiter transparent angegeben werden. Grundlage wären nicht die laufenden, sondern die jeweils bereits abgeschlossenen Forschungen, wobei allerdings auch Datenbestände unterhalb der Ebene eines abgeschlossenen Ortsfamilienbuchs genutzt werden sollen. Gesucht werden erstens Verfahren der eindeutigen Identifikation von Personen über Normdaten, zweitens Verfahren und Standards der Datenkuratierung, drittens Techniken der Programmierung von Webinterfaces, die eine niederschwellige Pflege und Abfrage der Daten ermöglichen. Eine andere Variante dieser Problematik stellt sich dort, wo verschiedene regionale Familiendatenbanken bereits existieren und nicht von einem "Schwarm", sondern von Einzelnen verantwortet werden. Einer der beteiligten regionalen Vereine hat z.B. eine Familiendatenbank mit etwa einer halben Million Personendatensätzen erstellt, die ungefähr den Raum eines ganzen Bundeslandes für die Zeit ab ca. 1700 erfasst. Ein anderer Verein strebt an, einen an das niederländische (dort von einem Verbund von Archiven getragene) Portal https://www.wiewaswie.nl/en/ angelehnten Verbund aus bereits publizierten Ortsfamilienbüchern zu schaffen. Ein langfristiges Ziel des Vereins für Computergenealogie besteht darin, die für etwa 800 Orte separat geführten Online-Ortsfamilienbücher mit zusammen über 10 Millionen historischen Personendatensätzen untereinander zu verknüpfen. In jedem Fall stellt die Verknüpfung über Normdaten ein Problem dar, weil personenbezogene Normdaten erst über Verfahren der Record Linkage hergestellt werden müssen. Hier käme es darauf an, dass eine Best Practice zur Konstruktion personenbezogener Normdaten erarbeitet würde.

Task Area

Perspective

Tags

< Back to problem stories

Für eine private Website habe ich einen Verwandtschaftsrechner programmiert, der auf den eigenen Datenbestand auf der privaten Seite zugreift und für je 2 beliebige Personen zeigt, wie sie verbunden sind. Wie kann ich dafür sorgen, dass das Tool auch von anderen benutzt werden kann?

Task Area

Perspective

Tags

< Back to problem stories

In einer Forschergruppe erheben wir Informationen zu den in den Deutschen Staaten erteilten Patenten im Zeitraum 1840-1877. Die Daten erhalten reichhaltige Informationen zur patentierten Technologie, den Berufen der Patentinhaber und deren Wohnorten. Letztere ermöglichen eine Landkarte innovativer Orte/Regionen über einen langen Zeitraum zu zeichnen und beispielsweise Fragen der Persistenz zu adressieren. Als Blocker erweist sich dabei, dass wir uns mühsam die Geodaten der erfassten Orte beschaffen müssen, erschwerend kommt außerdem hinzu das viele kleine Orte mittlerweile eingemeindet wurden oder - in den östlichen preußischen Provinzen - Ortsnamen gewechselt haben. Eine historische Datenbank, die Gebietsveränderungen über die Zeit nachvollzieht und den Orten Geodaten zuordnet wäre hier sehr hilfreich.

Task Area

Perspective

Tags

< Back to problem stories

In einer kleinen Forschergruppe wollen wir die Berichte der rheinischen Provinzialregierungen an den preußischen König in den ersten Jahrzehnten nach der Annektion untersuchen. Uns interessiert dabei, welche Themen die im Aufbau befindliche Verwaltung hatte, wie sie diese Themen an den König herantrug und ob es dabei unterschiede zu den alten preußischen Provinzialverwaltungen gab. Um die große Textmenge bearbeitbar zu machen und um möglichst unvoreingenommen an die Quellen heranzutreten wollen wir eine Inhaltsanalyse mit einem Topicmodell vornehmen. Das erste Problem, das sich dabei stellt ist natürlich die Digitalisierung großer handschriftlicher Textmengen. Dieses Problem lässt sich mit dem Programm Transkribus jedoch schon sehr gut lösen. Als weiteres Problem erweist sich die Frage, wie die Daten gespeichert werden sollen. Auf der einen Seite sollten für die Berechnung des Topicmodells einzelne Textabschnitte als mit Metadaten (Regierungsbezirk, Jahr, Monat) versehene Variablen vorliegen. Auf der anderen Seite sollten die Daten auch in Ihrer Dokumentenstruktur gespeichert und mit einer XML-TEI Auszeichnung versehen werden, um sie als Editon zu veröffentlichen. Hier braucht es eine flexible Datenbanklösung, die mehrere Zuordnungen erlaubt. Zuletzt stellt sich die Frage, mit welchem Programm das Textmining vorgenommen werden soll. Konventionelle Statistikprogramme wie STATA und R sind dazu in der Lage. Der Zugang zu diesen Programmen stellt aber sicherlich für Viele im Fach eine Hürde da. Hilfreich wäre es ein webbasiertes Tool zu haben, das intuitiv zu bedienen ist. Zwar existieren auch hier schon entsprechende Webseiten (bspw. Voyant-Tools, Lexos). Diese sind aber stärker auf die Literaturwissenschaft ausgerichtet und haben für die historische Arbeit einige Nachteile. So ist die Arbeit mit Metadaten (Zeitinformationen) schwierig, außerdem wird der Arbeitsstand auf Fremdservern gespeichert und eine Dokumentation der einzelnen Arbeitsschritte ist nicht vorgesehen. Eine speziell auf das historische Arbeiten zugeschnittene Lösung, die die hier skizzierten Nachteile umgeht wäre sicherlich hilfreich. Grade auch, um die Methoden des Textminings breit im Fach zu verankern.

Task Area

Perspective

Tags

< Back to problem stories

Seit einiger Zeit arbeite ich mit einer kleinen Gruppe an der Zusammenstellung von Glockengussdaten. Dabei handelt es sich um Informationen, die 1940/41 anlässlich der bevorstehenden Einschmelzung der Glocken auf Karteikarten gesammelt wurden, insgesamt etwa 20.000. Für uns von Interesse sind Standort der Glocke (1940/41) und Zeitpunkt des Glockengusses (z.T. zurück bis ins 11. Jh.). Da Glocken fast nie den Standort wechseln, soll im Endergebnis eine Art dynamische Heatmap über die Jahrhunderte gezeigt werden, wann wo besonders viele oder wenig Glocken gegossen wurden. In Ermangelung wirtschaftsstatistischer Daten wäre das eine Art Proxy-Variable für wirtschaftliche Konjunkturen (das ist jetzt alles sehr grob vereinfacht). Alle Karteikarten liegen in digitalisierter Form vor. Unser erstes Problem betrifft die Übertragung der relevanten Daten (v.a. Standort und Glockengussdatum) von der handgeschriebenen Karteikarte in eine Tabelle. Wo finden wir Informationen darüber, welche Software sich für das Einlesen relativ standardisierter, aber eben handgeschriebener Daten eignet? Wieviel Nachkorrekturen sind ungefähr nötig? Um zweitens eine Glocke mit vertretbarem Aufwand georeferenzieren zu können, benötigen wir eine Zuordnung des Ortsnamens von 1940/41 zu einer Geo-Position. Wo finden wir eine Übersicht über entsprechende Datenbanken? Erschwerend kommt hinzu, dass 1940/41 selbständige Gemeinden heute nur noch Stadtteile oder unselbständige Teilgemeinden sind. Drittens schließlich stellt sich die Frage der Visualisierung. Die politischen Grenzen haben sich vom 11. Jahrhundert bis 1941 immer wieder geändert. Gibt es historische Karten, die es erlauben würden, auf der dynamischen heatmap die korrekten jeweiligen Grenzverläufe zu visualisieren (etwa in 50-Jahres-Abständen)?

Task Area

Perspective

Tags

< Back to problem stories

An der Akademie der Wissenschaften und der Literatur, Mainz bin ich tätig im Projekt Regesta Imperii und als Projektleiter von DFG-Projekten.
Dabei kommen immer wieder andere DFG-Projekte mit der Bitte auf mich zu, beim digitalen Start zu helfen. Fragen drehen sich z.B. um
Welche Programme für die Datenaufnahme ?
Welche Datenmodellierung kann genutzt werden ?
Wo können die Daten gespeichert werden ?

Wie sieht unsere Datenmodellierung konkret aus ?
Meist finden wir gemeinsam schnell eine Lösung, mit der das Projekt starten kann. Nach einigen Monaten gibt es nochmal ein Treffen um weitere Fragen zu klären.
Eigentlich benötigt jedes DFG-Projekt welches nicht eine eigene IT-Stelle beantragt hat oder keinen Zugriff auf institutionelle Unterstützung hat eine solche Anfangsbetreuung, die auch finanziell vergütet werden sollte.
Vielleicht könnte man einen Anteil des Overheads in Form von Beratungsgutscheinen an die Projekte geben, die diese dann gegen diese Dienstleistung eintauschen könnten.

Task Area

Perspective

Tags

< Back to problem stories

We are editing 19th century migrant letters that are physically located in German and American archives. In order to be able to reconstruct migration patterns and migrant networks, we would like to mark persons with a unique identifier. Since these are “ordinary people”, we do not find them in existing Authority Files such as GND, LoC or Wikidata. How should we reference the existing biographical information and which markup language should we use so that the biographical information that we retrieve from the letters and from archives can easily be enhanced by future biographical research? Should we transfer our data into the Integrated Authority File (GND) and if yes, how can we do this? Secondly, we would like to store and document all biographical details (baptism, marriage and death records, census records, pension records, emigration records, ship lists) as well as additional information gathered from the letters such as occupation, places of living and family events, contacts between migrants, their families, old and new neighbors, friends and acquaintances, in order to map and visualize the migration and mobility networks. Which service and platform should we use for cooperative research data management and the long-term preservation of our research data? Which digital tools should we use for GIS mapping and network visualization?

Task Area

Perspective

Tags

< Back to problem stories

Wir erfassen mit dem FactGrid Daten und helfen Partnern auf der Plattform. Die Software erweist sich dabei als so attraktiv, dass Mitspieler des In- und Auslands zurzeit von selbst an uns herantreten, um bei uns Datensätze in Wikibase laufen zu lassen.
Unsere zentralen Probleme liegen im Moment in der Bedienung der Software, die für Wikidata ein unmittelbar auf die Dateneingabe und das Datamining ausgerichtetes Interface nutzt.
Verbesserungsbedürftig ist einerseits die Dateneingabe: Es müsste möglich sein, Open Refine serverseitig laufen zu lassen und auf die mitdenkende Software hin zu arbeiten, die noch vor der Eingabe großer Datenmengen auf bereits vorliegende Informationen (etwa bei deckungsgleichen Verwandtschaftsbeziehungen)verweist, und die so die Arbeit mit der vorhandenen Information erleichtert.
Wichtiger noch ist für uns im Moment der Schritt in eine dezidierte Datenpräsentation.
Magnus Manske’s „Reasonator“, Markus Krötzschs „Squid“, zeigen das Potential der Software auf, mit der sich eine Wikibase-Datenbank bis an den Punkt nutzen lässt, an dem sie Wikipedia Konkurrenz macht – mit dem Vorteil, dass dabei plötzlich eine einzige multilingual verwaltete Datenlage in verschiedenen Sprachen nutzbar wird. Es ist dies ein Entwicklungsweg, den Wikimedia nicht prioritär verfolgt und auf dem wir uns derzeit mit Partnern wie der DNB bewegen.
In der bis auf Weiteres misslichen Lage sprechen wir Nutzer derzeit nur sehr provisorisch mit exemplarischen, modifizierbaren Suchangeboten an, von denen aus sie sogleich in die bearbeitbaren Datensätze geleitet werden – so im aktuellen Projekt, das Thüringens Pfarrerbuch bei uns verfügbar macht: https://blog.factgrid.de/archives/1923. Das Ziel sind Nutzeroberflächen wie Uwe Jung sie für die FH-Potsdam im Umgang mit Wikidata erarbeitete (https://blog.factgrid.de/archives/1215).
Hier befinden wir uns in Gesprächen mit Partnern, die auf dieselbe Software setzen sowie mit Wikimedia, mit dem Ziel einer open source Lösung, von der alle Wikibase Plattformen profitieren würden. Die Vernetzungsangebote des NFDI-Prozesses sind dabei von fast noch größerem Interesse als Entwicklungsetats.

Task Area

Perspective

Tags