eLabFTW und Nyarlathotep

Automatische Datenpipelines mit eLabFTW und Nyarlathotep

Das Universitätsrechenzentrum und das Kompetenzzentrum Digitale Forschung (zedif) haben kürzlich eLabFTW als elektronisches Laborbuch eingeführt. Mit eLabFTW können Forschungsarbeiten dokumentiert, Daten zentral gespeichert und innerhalb der Forschungsgruppe geteilt werden. Dank eines großzügigen Upload-Limits von 50 GiB pro Datei eignet sich eLabFTW nun auch für die Verwaltung und Ablage umfangreicher Forschungsdaten.

Um die Datenanalyse zu automatisieren, wurde im Rahmen des Projekts ThWIC Data ein Datapipeline-System für eLabFTW entwickelt: Nyarlathotep. Nutzer:innen, die bereits mit Pipelines in GitHub oder GitLab vertraut sind, werden viele Parallelen erkennen.

Nyarlathotep durchsucht automatisch Experimente nach hochgeladenen Daten und führt daraufhin Analysen anhand individueller Workflows durch. Eine Demonstration sagt mehr als viele Worte: Im Beispiel-Workflow werden thermodynamische Daten aus einer Molekulardynamik-Simulation analysiert und grafisch dargestellt (Video).

Mit diesem Service lassen sich nahezu beliebige nicht-interaktive Workflows umsetzen – von einfachem Plotten über die automatische Transkription von Audiodaten bis hin zu komplexen statistischen Analysen. In vielen Fällen können bestehende Skripte und Auswertungen mit nur geringen Anpassungen in Nyarlathotep integriert werden, sodass auf bewährte Workflows zurückgegriffen werden kann.

Das Universitätsrechenzentrum stellt eine zentral verwaltete Nyarlathotep-Instanz sowie Rechenkapazität für Datenpipelines bereit, über die Workflows integriert werden können. Darüber hinaus ist es möglich, eine eigene Nyarlathotep-Instanz zu betreiben und Workflows individuell hinzuzufügen oder anzupassen.

Der Code sowie eine Dokumentation des Projekts sind unter https://git.uni-jena.de/mi24ris/nyarlathotepExterner Link verfügbar. Interessierte können sich an Phillip Seeber per E-Mail wenden oder ein Ticket im Service Desk erstellen (Service: eLabFTW).