Iakov Davydov
2017-05-18 14:27:51 UTC
Ich suche derzeit nach einem System, mit dem ich sowohl den Code als auch die Daten in meiner Forschung versionieren kann.
Ich denke, meine Art der Datenanalyse ist nicht ungewöhnlich, und dies ist nützlich für Viele Leute machen Bioinformatik und streben nach Reproduzierbarkeit.
Hier sind die Anforderungen:
- Die Analyse wird auf mehreren Computern (lokal, Cluster, Server) durchgeführt.
- Der gesamte Code wird transparent zwischen den Computern synchronisiert.
- Quellcode-Versionierung.
- Generierte Datenversionierung.
- Unterstützung für eine große Anzahl kleiner generierter Dateien (> 10k). Diese können auch gelöscht werden.
- Unterstützung für große Dateien (> 1 GB). Irgendwann können alte generierte Dateien dauerhaft gelöscht werden. Es wäre verrückt, diese transparent zu synchronisieren, aber es wäre schön, sie bei Bedarf synchronisieren zu können.
Bisher verwende ich git + rsync / scp. Es gibt jedoch mehrere Nachteile.
- Die Synchronisierung zwischen mehreren Computern ist etwas mühsam, d. H. Sie müssen vor jedem Arbeitsbeginn einen Git-Pull ausführen und nach jedem Update einen Git-Push durchführen. Damit kann ich leben.
- Sie sollten keine großen generierten Datendateien oder eine große Anzahl von Dateien in Ihrem Repository speichern.
- Daher muss ich Datendateien manuell mit rsync synchronisieren. Dies ist fehleranfällig.
Es gibt einen so genannten Git-Anhang. Es scheint wirklich nah an dem zu sein, was ich brauche. Aber:
- Ein bisschen mehr Arbeit als Git, aber das ist in Ordnung.
- Leider scheint es mit der großen Anzahl von Dateien nicht gut zu funktionieren. Oft habe ich mehr als 10.000 kleine Dateien in meiner Analyse. Es gibt einige Tricks, um die Indizierung zu verbessern, aber das Problem wird dadurch nicht gelöst. Was ich brauche, ist ein Symlink, der den gesamten Inhalt des Verzeichnisses darstellt.
Eine mögliche Lösung besteht darin, Dropbox oder ähnliches (wie Syncthing) in Kombination mit Git zu verwenden. Der Nachteil ist jedoch, dass keine Verbindung zwischen der Quellcodeversion und der Datenversion besteht.
Gibt es ein Versionsverwaltungssystem für den Code und die Daten, die den von Ihnen empfohlenen Anforderungen entsprechen?
Es ist nicht genau das, wonach Sie suchen, und es ist auch nicht in der Lage, es in Vollzeit zu verwenden, aber ich habe eine Software namens "chitin" geschrieben: https://github.com/SamStudio8/chitin /. Es wurde entwickelt, um zu verfolgen, wie Dateien erstellt wurden und was mit ihnen passiert ist. Es ist nicht dafür gedacht, die Änderungen zu speichern (wie git) - aber tatsächlich finde ich die Metadaten weitaus nützlicher als die tatsächlichen Änderungen (abgesehen von Code, der natürlich in git lebt).
@SamStudio8 sieht interessant aus. Ich bin noch nicht ganz überzeugt, aber meiner Meinung nach lohnt es sich, als Antwort zu posten.
Der normale Ansatz hierfür besteht darin, ein einziges Verzeichnis zu haben, das auf die verschiedenen Computer (lokal, Cluster, Server) exportiert wird. Warum sollten Sie die Daten auf diese Weise duplizieren, anstatt nur ein zentrales Repository zu verwenden?
@terdon Oft haben Sie keinen Root-Zugriff auf einen Cluster, daher können Sie dort nicht einfach ein Netzwerk-Dateisystem bereitstellen (und wenn es viele kleine oder große Dateien gibt, möchten Sie dies aufgrund der Leistung nicht). In einem anderen Sinne ähnelt dies einer Syncthing / Dropbox-Lösung, bei der es an der richtigen Versionierung und Übereinstimmung zwischen dem Quellcode und den Daten mangelt.
Wenn Sie GB Daten synchronisieren müssen, machen Sie es falsch. Wenn Sie Root-Zugriff benötigen, würde ich Ihren Systemadministrator bitten, das System so einzurichten, dass Sie gemeinsam genutzte Laufwerke verwenden können. Ich habe noch nie jemanden so arbeiten sehen, wie Sie es beschrieben haben. Alle drei Orte, an denen ich gearbeitet habe, hatten immer gemeinsam genutzte Netzwerklaufwerke. Alternativ können Sie "sshfs" verwenden, um sie selbst zu mounten, ohne Root-Zugriff zu benötigen. Die Netzwerk-E / A-Last ist in der Tat ein Faktor. Manchmal kopieren wir Daten auf ein lokales Laufwerk und löschen sie nach der Analyse.
@terdon mehrere kleine Dateien ist auch ein Problem für die meisten Netzwerk-Dateisysteme. Ich bin damit einverstanden, dass das Synchronisieren von Gigabyte an Daten nicht immer eine gute Idee ist, aber manchmal unvermeidlich böse (beachten Sie, dass der Git-Anhang dies nicht automatisch tut; und das ist in Ordnung). Ich sehe ziemlich viele bioinformatische Gruppen an meiner Universität, die sehr ähnliche Probleme haben, also ist das zumindest nicht ungewöhnlich. `sshfs` ist eine Option, aber es ist wieder ein Netzwerk-Dateisystem. Und bei vielen Clustern ist die Sicherung im Kernel nicht verfügbar (einschließlich unseres Clusters, eines der größten Cluster, die nur für Bioinformatik bekannt sind).
Ich muss @terdon, zustimmen. Es gibt keinen Grund, warum Sie zahlreiche große Dateien über mehrere Knoten hinweg synchronisieren sollten. Wenn Sie keinen Root-Zugriff haben, um ein vernetztes Speicherlaufwerk bereitzustellen, müssen Sie es abrufen. All diese Dateisynchronisierung wird das Netzwerk verstopfen, und Ihre Administratoren sollten dies vermeiden wollen. Das Aufbewahren mehrerer Kopien von Dateien ist ein Rezept für eine Katastrophe. Sie sollten dies unbedingt vermeiden.
@woemler es scheint, dass ich nicht klar genug war. Ich möchte keine transparente Synchronisation von Datenauftritten. Ich möchte nur, dass dies versioniert und abrufbar ist. Ich habe die Frage aktualisiert, um sie klarer zu machen. Außerdem ist es ein Rezept für eine Katastrophe, 100.000 winzige Dateien im Netzwerk zu speichern. Wie auch immer, das Problem mit großen Dateien ist mit dem Git-Anhang leicht zu lösen. kleine Dateien sind komplizierter.