VERTEILTES SPEICHERN UND ABRUFEN VON DATENSÄTZEN

Computerimplementiertes Verfahren, welches Folgendes umfasst:ein Datensatz umfasst mehrere Datensatzteile,gespeicherte Metadaten geben die Organisation von Daten innerhalb des Datensatzes an,eine oder mehrere Speichervorrichtungen halten einen Datensatz in einer Datendatei,Zuordnungskartendaten, gespeichert in der, einen oder mehreren Speichervorrichtungen, geben die Organisation des Datensatzes in mehrere Datenblöcke innerhalb der Datendatei an,die Zuordnungskartendaten umfassen mehrere Zuordnungskarteneinträge,die Metadaten oder die Zuordnungskartendaten geben eine zweite Anzahl von Knotenvorrichtungen an, die zuletzt am Speichern des Datensatzes innerhalb der Datendatei beteiligt waren,die Metadaten oder die Zuordnungskartendaten geben an, ob der Datensatz partitionierte Daten umfasst,wenn der Datensatz partitionierte Daten umfasst:die Daten innerhalb des Datensatzes sind zu mehreren Partitionen organisiert,die Daten innerhalb jeder Partition müssen gemeinsam verarbeitet werden, entsprechend muss jede. Partition einer einzigen Knotenvorrichtung zugewiesen werden, um die Daten innerhalb jeder Partition für eine gemeinsame Verarbeitung zusammen zu halten,jeder Partition ist ein eindeutiges Partitionsetikett zugeordnet, von welchem eine entsprechende gehashte Kennung abgeleitet wird, welche die Partition identifiziert,jeder Datenblock der mehreren Datenblöcke enthält zumindest einen Datenunterblock,jeder Datenunterblock enthält Daten einer einzelnen Partition,jeder Datenunterblock entspricht einem einzelnen Datensatzteil der mehreren Datensatzteile.jeder der Zuordnungskarteneinträge entspricht einem einzigen. Datenblock der mehreren Datenblöcke,jeder der Zuordnungskarteneinträge enthält einen oder mehrere Zuordnungskartenuntereinträge,jeder Zuordnungskartenuntereintrag entspricht einem einzelnen Datenunterblock,jeder Zuordnungskartenuntereintrag enthält eine Datenunterblockgröße und eine gehashte Kennung der Partition des entsprechenden Datenunterblocks,wobei folgende Schritte durch die Prozessorkomponente einer Steuervorrichtung durchgeführt werden:Empfangen von Angaben von mehreren Knotenvorrichtungen, welche von ihnen verfügbar sind für die Ausführung einer Verarbeitungsaufgabe mit wenigstens einem Datensatzteil der mehreren Datensatzteile,Abrufen der Metadaten und der Zuordnungskartendaten von der einen oder den mehreren Speichervorrichtungen über ein Netzwerk, ansprechend auf die Angabe innerhalb der Metadaten oder der Zuordnungskartendaten, dass der