Zum Hauptinhalt springen

Datenorganisation

Neben der Beschreibung und Annotation Ihrer Forschungsdaten ist ein weiterer Aspekt zu beachten, nämlich die Art und Weise, wie Daten im Rahmen einer Forschungsaktivität benannt, organisiert, weitergegeben und referenziert werden. Kleine Datenmengen lassen sich einfach in Dateien und Ordnern organisieren; bei der Arbeit mit vielen oder großen Datensätzen kann es sinnvoll sein, diese in einer Datenbank zu organisieren. Einen Überblick über Speicherorte und Speichermethoden finden Sie unter Datenspeicherung und Archivierung.

Dateien: Namenskonventionen​

Menschen profitieren von Dateinamen, die eine einfache Sortierung ermöglichen und auf den ersten Blick einen Eindruck vom Inhalt vermitteln. Dateinamen wie die folgenden sind jedoch nicht hilfreich:

mydata.csv
mydata_final.csv
myfinaldata_V2.csv
myfinaldata_V2_ready.csv

Wir benötigen kurze und aussagekräftige Dateinamen als Kennung für ein Dokument. Aussagekräftige Dateinamen geben Aufschluss über den Inhalt der Dateien und erleichtern deren Sortierung. Achten Sie bei der Zusammenarbeit mit anderen auf Ihr Namensschema: Es ist wichtig, dass alle dieselbe Konvention zur Dateibenennung befolgen. Entwickeln Sie daher zu Beginn des Projekts ein passendes Schema und halten Sie dieses einschließlich einer Erläuterung der Abkürzungen in Ihrer Datendokumentation fest.

Versuchen Sie, über die verschiedenen Status (Rohdaten, Entwurf, vorläufig, fertiggestellt, …) nachzudenken. sowie die Formate (bearbeitbare Quellformate wie Textdateien oder CSV im Gegensatz zu Exportformaten wie PDF) Ihrer Dokumente.

Finden Sie eine ausgewogene Kombination von Elementen: Zu viele erschweren das schnelle Erfassen, während zu wenige Elemente den möglichen Namensraum schnell erschöpfen. Beachten Sie die maximale Zeichenanzahl für Pfadnamen, die in der Regel bei 255 Zeichen liegt.

Allgemeine Grundsätze für die Benennung von Dateien:
  • Ordne die Elemente vom Allgemeinen zum Spezifischen.
  • Verwenden Sie aussagekräftige Abkürzungen anstelle langer Bezeichner.
  • Verwenden Sie einen Unterstrich _, einen Bindestrich - oder Großbuchstaben, um die einzelnen Bestandteile des Namens voneinander zu trennen. Verwenden Sie keine Leerzeichen oder Sonderzeichen: ?!&,%#;()@$^~‘{}[]<>.
  • Verwenden Sie das Datumsformat ISO 8601: YYYYMMDD und bei Bedarf das Zeitformat HHMMSS.
  • Geben Sie gegebenenfalls eine Versionsnummer an: mindestens zweistellig (V02) und erweitern Sie diese bei Bedarf für kleinere Korrekturen (V02-03). Die führenden Nullen sorgen dafür, dass die Dateien korrekt sortiert werden.

(von RDMKit)

Beispiele für Elemente, die im Dateinamen enthalten sein sollten​

  • Erstellungsdatum
  • Projektnummer / Experiment / Abkürzung
  • Art der Daten (Proben-ID, Analyse, Bedingungen, Änderungen usw.)
  • Gerät / Standort / Koordinaten
  • Name / Initialen des Urhebers
  • Versionsnummer
  • Die letzten drei Buchstaben sind für das Dateiformat reserviert (z. B. .csv, .odt, .tif, .jpg)

Ein guter Dateiname wie beispielsweise 20180211_ELI5_TEMP_BH01_RAW_03.csv lässt sich leicht nach Datum sortieren und gibt folgende Informationen preis:

  • Datum der Einreichung: 11. Februar 2018
  • Projektkürzel: ELI5 = Erkläre es mir, als wäre ich 5 (Jahre alt)
  • Messwerttyp: TEMP = Temperaturwerte
  • Messpunkt / Standort: BH01 = Bienenstock Nr. 01
  • Datentyp: RAW = Rohdaten vom Messgerät
  • Dateinummer: enthält Daten zu dieser Messreihe

Wenn Sie mehrere Dateien umbenennen müssen, schauen Sie sich Folgendes an:

Für bestimmte Dateiformate gibt es Tools, mit denen der Dateiname an die Metadaten angepasst werden kann. Beispielsweise, um einen Dateinamen zu erstellen, der Ihrem Schema entspricht und Datums- und Zeitangaben aus den EXIF-Daten einer JPG-Datei übernimmt. Bei einigen lässt sich zudem ein Offset hinzufügen – dies hilft dabei, Fotos nach Zeitstempeln zu sortieren, die auf unterschiedlichen Uhren basieren.

Dateien: Versionsverwaltung​

Speichern Sie Snapshots oder verfolgen Sie einfach Änderungen, um Elemente zu finden, die in einer früheren Version vorhanden waren, später jedoch gelöscht oder geändert wurden. Bei einer klaren chronologischen Abfolge, bei der die Schritte nacheinander durchgeführt werden, sind in der Regel keine weiteren Werkzeuge erforderlich. Doch auch wenn es auf den ersten Blick oft so scheint, haben sich unterstützende Instrumente schnell als nützlich erwiesen und haben sich in der Zusammenarbeit rasch etabliert.

Mögliche Lösungen​

  • Geringe Anzahl von Anforderungen: Manuelle Verwaltung, z. B. durch Führen eines Protokolls, in dem die Änderungen an den jeweiligen Dateien Version für Version dokumentiert werden.
  • Für die automatische Verwaltung von Versionen, die Konfliktlösung und die Rückverfolgbarkeit sollten Sie eine geeignete Versionsverwaltungssoftware wie Git verwenden, die kostenlos lokal installiert werden kann, während gehostete Lösungen wie z. B. GitHub oder die Ihrer Heimatinstitution die Zusammenarbeit erleichtern. Sehr empfehlenswert für unkomprimierte, lesbare und vergleichbare Dateien wie Textdateien oder CSV-Dateien.
  • Verwenden Sie einen Cloud-Speicherdienst (siehe Datenspeicherung und Archivierung), der eine automatische Dateiversionierung bietet. Besonders stark bei Tabellenkalkulationen, Textdateien und Präsentationen.

Dateien: Arten von Metadaten​

Betrachten Sie, wie Daten und Metadaten gemeinsam als FDOs (Fair Digital Objects) gespeichert werden können. Beispielsweise lassen sich Metadaten in die folgenden vier Kategorien unterteilen:

  • beschreibende Metadaten
  • administrative Metadaten
  • technische Metadaten
  • strukturelle Metadaten

Ein FDO fasst Daten und Metadaten in einer Datei zusammen und kann beispielsweise als HDF5 gespeichert werden. Weitere Informationen finden Sie unter Datenformate.

Dateien: Formate​

In verschiedenen Fachbereichen kommen etablierte Standards zum Einsatz, siehe Datenformate. Berücksichtigen Sie auch die Zeit nach Abschluss des Projekts:

  • Verwendung proprietärer oder offener Dateiformate
  • Austausch innerhalb und außerhalb der Arbeitsgruppe
  • Kurz- und Langzeitspeicherung, Datenspeicherung und Archivierung
  • spezielle Arbeitsabläufe und Verfahren (z. B. für die Datenerhebung, Dokumentation und Auswertung)
  • gemeinsamer oder separater Speicher (z. B. SPSS-Datei für Daten; XML-Datei für Metadaten)
  • geeignete Verfahren zur Gewährleistung der Konsistenz von Daten und Metadaten

Ordnerstruktur​

Alles sollte auf den ersten Blick intuitiv verständlich sein. Die Ordnerstruktur hilft Ihnen dabei, sich durch die einzelnen Informationen zu bewegen. Legen Sie zu Beginn des Projekts eine Konvention fest und halten Sie diese einschließlich einer Erläuterung der Abkürzungen in Ihrer Datendokumentation fest. Versuchen Sie, in jedem Projekt innerhalb der Forschungsgruppe konsequent dieselbe Strategie anzuwenden.

Ordner sollten:

  • Halten Sie eine Struktur mit Ordnern und Unterordnern ein, die dem Projektentwurf und dem Arbeitsablauf entspricht
  • einen selbsterklärenden Namen haben, der nur so lang ist, wie nötig
  • Verwenden Sie einen eindeutigen Namen – vermeiden Sie es, einem Ordner und einem Unterordner denselben Namen zu geben

Der oberste Ordner sollte eine Datei namens „README.txt“ enthalten, in der die Ordnerstruktur sowie der Inhalt der einzelnen Ordner beschrieben werden. Diese Datei sollte außerdem eine Erläuterung der Dateinamenskonvention enthalten.

Wenn Sie Hilfe beim Aufbau einer Struktur für Ihre Projekte benötigen, können Methoden wie Jonny Decimal hilfreich sein.

Ein Beispiel von RDMKit:​

    project/
      code/                 Code, der benötigt wird, um von den Eingabedateien zu den Endergebnissen zu gelangen
      data/                 Roh- und Primärdaten (niemals bearbeiten!)
         raw_external/
         raw_internal/
         meta/
      doc/                  Dokumentation der Studie
      intermediate/         Ausgabedateien aus Zwischenschritten der Analyse
      logs/                 Protokolle der verschiedenen Analyseschritte
      notebooks/            Notizbücher, die Ihre tägliche Arbeit dokumentieren
      results/              Ausgaben aus Workflows und Analysen
         figures/
         reports/
         tables/
      scratch/              temporäre Dateien, die sicher gelöscht werden können oder verloren gehen dürfen
      README.txt            Datei- und Ordnerbeschreibung

Quellen und weitere Informationen​