VERTEILTES SPEICHERN UND ABRUFEN VON DATENSÄTZEN
Computerimplementiertes Verfahren, welches Folgendes umfasst:ein Datensatz umfasst mehrere Datensatzteile,gespeicherte Metadaten geben die Organisation von Daten innerhalb des Datensatzes an,eine oder mehrere Speichervorrichtungen halten einen Datensatz in einer Datendatei,Zuordnungskartendaten, ges...
Gespeichert in:
| Hauptverfasser: | , , , |
|---|---|
| Format: | Patent |
| Sprache: | ger |
| Schlagworte: | |
| Online-Zugang: | Volltext bestellen |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| container_end_page | |
|---|---|
| container_issue | |
| container_start_page | |
| container_title | |
| container_volume | |
| creator | Bowman, Brian Payton Ho, Chih-Wei Knight, Richard Todd Krueger, Steven E |
| description | Computerimplementiertes Verfahren, welches Folgendes umfasst:ein Datensatz umfasst mehrere Datensatzteile,gespeicherte Metadaten geben die Organisation von Daten innerhalb des Datensatzes an,eine oder mehrere Speichervorrichtungen halten einen Datensatz in einer Datendatei,Zuordnungskartendaten, gespeichert in der, einen oder mehreren Speichervorrichtungen, geben die Organisation des Datensatzes in mehrere Datenblöcke innerhalb der Datendatei an,die Zuordnungskartendaten umfassen mehrere Zuordnungskarteneinträge,die Metadaten oder die Zuordnungskartendaten geben eine zweite Anzahl von Knotenvorrichtungen an, die zuletzt am Speichern des Datensatzes innerhalb der Datendatei beteiligt waren,die Metadaten oder die Zuordnungskartendaten geben an, ob der Datensatz partitionierte Daten umfasst,wenn der Datensatz partitionierte Daten umfasst:die Daten innerhalb des Datensatzes sind zu mehreren Partitionen organisiert,die Daten innerhalb jeder Partition müssen gemeinsam verarbeitet werden, entsprechend muss jede. Partition einer einzigen Knotenvorrichtung zugewiesen werden, um die Daten innerhalb jeder Partition für eine gemeinsame Verarbeitung zusammen zu halten,jeder Partition ist ein eindeutiges Partitionsetikett zugeordnet, von welchem eine entsprechende gehashte Kennung abgeleitet wird, welche die Partition identifiziert,jeder Datenblock der mehreren Datenblöcke enthält zumindest einen Datenunterblock,jeder Datenunterblock enthält Daten einer einzelnen Partition,jeder Datenunterblock entspricht einem einzelnen Datensatzteil der mehreren Datensatzteile.jeder der Zuordnungskarteneinträge entspricht einem einzigen. Datenblock der mehreren Datenblöcke,jeder der Zuordnungskarteneinträge enthält einen oder mehrere Zuordnungskartenuntereinträge,jeder Zuordnungskartenuntereintrag entspricht einem einzelnen Datenunterblock,jeder Zuordnungskartenuntereintrag enthält eine Datenunterblockgröße und eine gehashte Kennung der Partition des entsprechenden Datenunterblocks,wobei folgende Schritte durch die Prozessorkomponente einer Steuervorrichtung durchgeführt werden:Empfangen von Angaben von mehreren Knotenvorrichtungen, welche von ihnen verfügbar sind für die Ausführung einer Verarbeitungsaufgabe mit wenigstens einem Datensatzteil der mehreren Datensatzteile,Abrufen der Metadaten und der Zuordnungskartendaten von der einen oder den mehreren Speichervorrichtungen über ein Netzwerk, ansprechend auf die Angabe innerhalb der Metadaten oder der Zuordnungskartendaten, dass der |
| format | Patent |
| fullrecord | <record><control><sourceid>epo_EVB</sourceid><recordid>TN_cdi_epo_espacenet_DE112016001075B4</recordid><sourceformat>XML</sourceformat><sourcesystem>PC</sourcesystem><sourcerecordid>DE112016001075B4</sourcerecordid><originalsourceid>FETCH-epo_espacenet_DE112016001075B43</originalsourceid><addsrcrecordid>eNrjZDAMcw0KcfX0CXENVggOcPV09nAN8lMI9XNRcHQKCnVz9VMI8_dTcHEMcfULPtwSEuXqx8PAmpaYU5zKC6W5GVTdXEOcPXRTC_LjU4sLEpNT81JL4l1cDQ2NDAzNDAwMDcxNnUyMiVUHAOXMKPY</addsrcrecordid><sourcetype>Open Access Repository</sourcetype><iscdi>true</iscdi><recordtype>patent</recordtype></control><display><type>patent</type><title>VERTEILTES SPEICHERN UND ABRUFEN VON DATENSÄTZEN</title><source>esp@cenet</source><creator>Bowman, Brian Payton ; Ho, Chih-Wei ; Knight, Richard Todd ; Krueger, Steven E</creator><creatorcontrib>Bowman, Brian Payton ; Ho, Chih-Wei ; Knight, Richard Todd ; Krueger, Steven E</creatorcontrib><description>Computerimplementiertes Verfahren, welches Folgendes umfasst:ein Datensatz umfasst mehrere Datensatzteile,gespeicherte Metadaten geben die Organisation von Daten innerhalb des Datensatzes an,eine oder mehrere Speichervorrichtungen halten einen Datensatz in einer Datendatei,Zuordnungskartendaten, gespeichert in der, einen oder mehreren Speichervorrichtungen, geben die Organisation des Datensatzes in mehrere Datenblöcke innerhalb der Datendatei an,die Zuordnungskartendaten umfassen mehrere Zuordnungskarteneinträge,die Metadaten oder die Zuordnungskartendaten geben eine zweite Anzahl von Knotenvorrichtungen an, die zuletzt am Speichern des Datensatzes innerhalb der Datendatei beteiligt waren,die Metadaten oder die Zuordnungskartendaten geben an, ob der Datensatz partitionierte Daten umfasst,wenn der Datensatz partitionierte Daten umfasst:die Daten innerhalb des Datensatzes sind zu mehreren Partitionen organisiert,die Daten innerhalb jeder Partition müssen gemeinsam verarbeitet werden, entsprechend muss jede. Partition einer einzigen Knotenvorrichtung zugewiesen werden, um die Daten innerhalb jeder Partition für eine gemeinsame Verarbeitung zusammen zu halten,jeder Partition ist ein eindeutiges Partitionsetikett zugeordnet, von welchem eine entsprechende gehashte Kennung abgeleitet wird, welche die Partition identifiziert,jeder Datenblock der mehreren Datenblöcke enthält zumindest einen Datenunterblock,jeder Datenunterblock enthält Daten einer einzelnen Partition,jeder Datenunterblock entspricht einem einzelnen Datensatzteil der mehreren Datensatzteile.jeder der Zuordnungskarteneinträge entspricht einem einzigen. Datenblock der mehreren Datenblöcke,jeder der Zuordnungskarteneinträge enthält einen oder mehrere Zuordnungskartenuntereinträge,jeder Zuordnungskartenuntereintrag entspricht einem einzelnen Datenunterblock,jeder Zuordnungskartenuntereintrag enthält eine Datenunterblockgröße und eine gehashte Kennung der Partition des entsprechenden Datenunterblocks,wobei folgende Schritte durch die Prozessorkomponente einer Steuervorrichtung durchgeführt werden:Empfangen von Angaben von mehreren Knotenvorrichtungen, welche von ihnen verfügbar sind für die Ausführung einer Verarbeitungsaufgabe mit wenigstens einem Datensatzteil der mehreren Datensatzteile,Abrufen der Metadaten und der Zuordnungskartendaten von der einen oder den mehreren Speichervorrichtungen über ein Netzwerk, ansprechend auf die Angabe innerhalb der Metadaten oder der Zuordnungskartendaten, dass der Datensatz partitionierte Daten umfasst:Bestimmen einer ersten Anzahl der verfügbaren Knotenvorrichtungen aus den empfangenen Angaben, welche Knotenvorrichtungen verfügbar sind,Zuweisen, jeder der verfügbaren Knotenvorrichtungen, eines Wertes aus einer Reihe positiver ganzzahliger Werte als ein Festlegungswert, wobei sich die Reihe von einem ganzzahligen Wert von 0 bis zu einem positiven ganzzahligen Wert, dergleich der ersten Anzahl minus dem ganzzahligen Wert von 1 ist, erstreckt,Abrufen der zweiten Anzahl von Knotenvorrichtungen ausden Metadaten oder den Zuordnungskartendaten,Vergleichen der ersten und der zweiten Anzahl von Knotenvorrichtungen, um eine Übereinstimmung zwischen der ersten und der zweiten Anzahl zu erkennen,wenn der Datensatz partitionierte Daten umfasst und wenn die erste und die zweite Anzahl übereinstimmen, werden für jeden Zuordnungskarteneintrag der Zuordnungskartendaten folgende Schritte durch die Prozessorkomponente durchgeführt:a1) Abrufen, aus einem einzigen Zuordnungskartenuntereintrag des Zuordnungskarteneintrags, der gehashten Kennung für einen einzigen Datenunterblock innerhalb des entsprechenden Datenblocks,a2) Abrufen, aus jedem Zuordnungskartenuntereintrag, einer Datenunterblockgröße für jeden der Datenunterblöcke innerhalb des entsprechenden Datenblocks,b) Bestimmen einer Stelle des entsprechenden Datenblocks innerhalb der Datendatei,c) Dividieren der gehashten Kennung durch die erste Anzahl, um einen Modulo-Wert zu erhalten,d) Vergleichen des Modulo-Werts mit dem jeder der verfügbaren Knotenvorrichtungen zugewiesenen Festlegungswert, um eine verfügbare Knotenvorrichtung zu identifizieren, der ein Festlegungswert zugewiesen ist, welcher mit dem Modulo-Wert übereinstimmt, unde) Übertragen eines Zeigers, von der Steuervorrichtung an die verfügbare Knotenvorrichtung, welcher der Festlegungswert zugewiesen ist, der mit dem Modulo-Wert übereinstimmt, wobei der Zeiger Folgendes umfasst:e1) eine Angabe zur Stelle des entsprechenden Datenblocks unde2) eine Summe der Datenunterblockgrößen aller Datenunterblöcke innerhalb des entsprechenden Datenblocks.
An apparatus includes a processor component caused to: retrieve metadata of organization of data within a data set, and map data of organization of data blocks within a data file; receive indications of which node devices are available to perform a processing task with a data set portion; and in response to the data set including partitioned data, compare the quantities of available node devices and of the node devices last involved in storing the data set. In response to a match, for each map data map entry: retrieve a hashed identifier for a data sub-block, and a size for each of the data sub-blocks within the corresponding data block; divide the hashed identifier by the quantity of available node devices; compare the modulo value to a designation assigned to each of the available node devices; and provide a pointer to the available node device assigned the matching designation.</description><language>ger</language><subject>CALCULATING ; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS ; COMPUTING ; COUNTING ; ELECTRIC DIGITAL DATA PROCESSING ; PHYSICS</subject><creationdate>2024</creationdate><oa>free_for_read</oa><woscitedreferencessubscribed>false</woscitedreferencessubscribed></display><links><openurl>$$Topenurl_article</openurl><openurlfulltext>$$Topenurlfull_article</openurlfulltext><thumbnail>$$Tsyndetics_thumb_exl</thumbnail><linktohtml>$$Uhttps://worldwide.espacenet.com/publicationDetails/biblio?FT=D&date=20240523&DB=EPODOC&CC=DE&NR=112016001075B4$$EHTML$$P50$$Gepo$$Hfree_for_read</linktohtml><link.rule.ids>230,308,780,885,25563,76318</link.rule.ids><linktorsrc>$$Uhttps://worldwide.espacenet.com/publicationDetails/biblio?FT=D&date=20240523&DB=EPODOC&CC=DE&NR=112016001075B4$$EView_record_in_European_Patent_Office$$FView_record_in_$$GEuropean_Patent_Office$$Hfree_for_read</linktorsrc></links><search><creatorcontrib>Bowman, Brian Payton</creatorcontrib><creatorcontrib>Ho, Chih-Wei</creatorcontrib><creatorcontrib>Knight, Richard Todd</creatorcontrib><creatorcontrib>Krueger, Steven E</creatorcontrib><title>VERTEILTES SPEICHERN UND ABRUFEN VON DATENSÄTZEN</title><description>Computerimplementiertes Verfahren, welches Folgendes umfasst:ein Datensatz umfasst mehrere Datensatzteile,gespeicherte Metadaten geben die Organisation von Daten innerhalb des Datensatzes an,eine oder mehrere Speichervorrichtungen halten einen Datensatz in einer Datendatei,Zuordnungskartendaten, gespeichert in der, einen oder mehreren Speichervorrichtungen, geben die Organisation des Datensatzes in mehrere Datenblöcke innerhalb der Datendatei an,die Zuordnungskartendaten umfassen mehrere Zuordnungskarteneinträge,die Metadaten oder die Zuordnungskartendaten geben eine zweite Anzahl von Knotenvorrichtungen an, die zuletzt am Speichern des Datensatzes innerhalb der Datendatei beteiligt waren,die Metadaten oder die Zuordnungskartendaten geben an, ob der Datensatz partitionierte Daten umfasst,wenn der Datensatz partitionierte Daten umfasst:die Daten innerhalb des Datensatzes sind zu mehreren Partitionen organisiert,die Daten innerhalb jeder Partition müssen gemeinsam verarbeitet werden, entsprechend muss jede. Partition einer einzigen Knotenvorrichtung zugewiesen werden, um die Daten innerhalb jeder Partition für eine gemeinsame Verarbeitung zusammen zu halten,jeder Partition ist ein eindeutiges Partitionsetikett zugeordnet, von welchem eine entsprechende gehashte Kennung abgeleitet wird, welche die Partition identifiziert,jeder Datenblock der mehreren Datenblöcke enthält zumindest einen Datenunterblock,jeder Datenunterblock enthält Daten einer einzelnen Partition,jeder Datenunterblock entspricht einem einzelnen Datensatzteil der mehreren Datensatzteile.jeder der Zuordnungskarteneinträge entspricht einem einzigen. Datenblock der mehreren Datenblöcke,jeder der Zuordnungskarteneinträge enthält einen oder mehrere Zuordnungskartenuntereinträge,jeder Zuordnungskartenuntereintrag entspricht einem einzelnen Datenunterblock,jeder Zuordnungskartenuntereintrag enthält eine Datenunterblockgröße und eine gehashte Kennung der Partition des entsprechenden Datenunterblocks,wobei folgende Schritte durch die Prozessorkomponente einer Steuervorrichtung durchgeführt werden:Empfangen von Angaben von mehreren Knotenvorrichtungen, welche von ihnen verfügbar sind für die Ausführung einer Verarbeitungsaufgabe mit wenigstens einem Datensatzteil der mehreren Datensatzteile,Abrufen der Metadaten und der Zuordnungskartendaten von der einen oder den mehreren Speichervorrichtungen über ein Netzwerk, ansprechend auf die Angabe innerhalb der Metadaten oder der Zuordnungskartendaten, dass der Datensatz partitionierte Daten umfasst:Bestimmen einer ersten Anzahl der verfügbaren Knotenvorrichtungen aus den empfangenen Angaben, welche Knotenvorrichtungen verfügbar sind,Zuweisen, jeder der verfügbaren Knotenvorrichtungen, eines Wertes aus einer Reihe positiver ganzzahliger Werte als ein Festlegungswert, wobei sich die Reihe von einem ganzzahligen Wert von 0 bis zu einem positiven ganzzahligen Wert, dergleich der ersten Anzahl minus dem ganzzahligen Wert von 1 ist, erstreckt,Abrufen der zweiten Anzahl von Knotenvorrichtungen ausden Metadaten oder den Zuordnungskartendaten,Vergleichen der ersten und der zweiten Anzahl von Knotenvorrichtungen, um eine Übereinstimmung zwischen der ersten und der zweiten Anzahl zu erkennen,wenn der Datensatz partitionierte Daten umfasst und wenn die erste und die zweite Anzahl übereinstimmen, werden für jeden Zuordnungskarteneintrag der Zuordnungskartendaten folgende Schritte durch die Prozessorkomponente durchgeführt:a1) Abrufen, aus einem einzigen Zuordnungskartenuntereintrag des Zuordnungskarteneintrags, der gehashten Kennung für einen einzigen Datenunterblock innerhalb des entsprechenden Datenblocks,a2) Abrufen, aus jedem Zuordnungskartenuntereintrag, einer Datenunterblockgröße für jeden der Datenunterblöcke innerhalb des entsprechenden Datenblocks,b) Bestimmen einer Stelle des entsprechenden Datenblocks innerhalb der Datendatei,c) Dividieren der gehashten Kennung durch die erste Anzahl, um einen Modulo-Wert zu erhalten,d) Vergleichen des Modulo-Werts mit dem jeder der verfügbaren Knotenvorrichtungen zugewiesenen Festlegungswert, um eine verfügbare Knotenvorrichtung zu identifizieren, der ein Festlegungswert zugewiesen ist, welcher mit dem Modulo-Wert übereinstimmt, unde) Übertragen eines Zeigers, von der Steuervorrichtung an die verfügbare Knotenvorrichtung, welcher der Festlegungswert zugewiesen ist, der mit dem Modulo-Wert übereinstimmt, wobei der Zeiger Folgendes umfasst:e1) eine Angabe zur Stelle des entsprechenden Datenblocks unde2) eine Summe der Datenunterblockgrößen aller Datenunterblöcke innerhalb des entsprechenden Datenblocks.
An apparatus includes a processor component caused to: retrieve metadata of organization of data within a data set, and map data of organization of data blocks within a data file; receive indications of which node devices are available to perform a processing task with a data set portion; and in response to the data set including partitioned data, compare the quantities of available node devices and of the node devices last involved in storing the data set. In response to a match, for each map data map entry: retrieve a hashed identifier for a data sub-block, and a size for each of the data sub-blocks within the corresponding data block; divide the hashed identifier by the quantity of available node devices; compare the modulo value to a designation assigned to each of the available node devices; and provide a pointer to the available node device assigned the matching designation.</description><subject>CALCULATING</subject><subject>COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS</subject><subject>COMPUTING</subject><subject>COUNTING</subject><subject>ELECTRIC DIGITAL DATA PROCESSING</subject><subject>PHYSICS</subject><fulltext>true</fulltext><rsrctype>patent</rsrctype><creationdate>2024</creationdate><recordtype>patent</recordtype><sourceid>EVB</sourceid><recordid>eNrjZDAMcw0KcfX0CXENVggOcPV09nAN8lMI9XNRcHQKCnVz9VMI8_dTcHEMcfULPtwSEuXqx8PAmpaYU5zKC6W5GVTdXEOcPXRTC_LjU4sLEpNT81JL4l1cDQ2NDAzNDAwMDcxNnUyMiVUHAOXMKPY</recordid><startdate>20240523</startdate><enddate>20240523</enddate><creator>Bowman, Brian Payton</creator><creator>Ho, Chih-Wei</creator><creator>Knight, Richard Todd</creator><creator>Krueger, Steven E</creator><scope>EVB</scope></search><sort><creationdate>20240523</creationdate><title>VERTEILTES SPEICHERN UND ABRUFEN VON DATENSÄTZEN</title><author>Bowman, Brian Payton ; Ho, Chih-Wei ; Knight, Richard Todd ; Krueger, Steven E</author></sort><facets><frbrtype>5</frbrtype><frbrgroupid>cdi_FETCH-epo_espacenet_DE112016001075B43</frbrgroupid><rsrctype>patents</rsrctype><prefilter>patents</prefilter><language>ger</language><creationdate>2024</creationdate><topic>CALCULATING</topic><topic>COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS</topic><topic>COMPUTING</topic><topic>COUNTING</topic><topic>ELECTRIC DIGITAL DATA PROCESSING</topic><topic>PHYSICS</topic><toplevel>online_resources</toplevel><creatorcontrib>Bowman, Brian Payton</creatorcontrib><creatorcontrib>Ho, Chih-Wei</creatorcontrib><creatorcontrib>Knight, Richard Todd</creatorcontrib><creatorcontrib>Krueger, Steven E</creatorcontrib><collection>esp@cenet</collection></facets><delivery><delcategory>Remote Search Resource</delcategory><fulltext>fulltext_linktorsrc</fulltext></delivery><addata><au>Bowman, Brian Payton</au><au>Ho, Chih-Wei</au><au>Knight, Richard Todd</au><au>Krueger, Steven E</au><format>patent</format><genre>patent</genre><ristype>GEN</ristype><title>VERTEILTES SPEICHERN UND ABRUFEN VON DATENSÄTZEN</title><date>2024-05-23</date><risdate>2024</risdate><abstract>Computerimplementiertes Verfahren, welches Folgendes umfasst:ein Datensatz umfasst mehrere Datensatzteile,gespeicherte Metadaten geben die Organisation von Daten innerhalb des Datensatzes an,eine oder mehrere Speichervorrichtungen halten einen Datensatz in einer Datendatei,Zuordnungskartendaten, gespeichert in der, einen oder mehreren Speichervorrichtungen, geben die Organisation des Datensatzes in mehrere Datenblöcke innerhalb der Datendatei an,die Zuordnungskartendaten umfassen mehrere Zuordnungskarteneinträge,die Metadaten oder die Zuordnungskartendaten geben eine zweite Anzahl von Knotenvorrichtungen an, die zuletzt am Speichern des Datensatzes innerhalb der Datendatei beteiligt waren,die Metadaten oder die Zuordnungskartendaten geben an, ob der Datensatz partitionierte Daten umfasst,wenn der Datensatz partitionierte Daten umfasst:die Daten innerhalb des Datensatzes sind zu mehreren Partitionen organisiert,die Daten innerhalb jeder Partition müssen gemeinsam verarbeitet werden, entsprechend muss jede. Partition einer einzigen Knotenvorrichtung zugewiesen werden, um die Daten innerhalb jeder Partition für eine gemeinsame Verarbeitung zusammen zu halten,jeder Partition ist ein eindeutiges Partitionsetikett zugeordnet, von welchem eine entsprechende gehashte Kennung abgeleitet wird, welche die Partition identifiziert,jeder Datenblock der mehreren Datenblöcke enthält zumindest einen Datenunterblock,jeder Datenunterblock enthält Daten einer einzelnen Partition,jeder Datenunterblock entspricht einem einzelnen Datensatzteil der mehreren Datensatzteile.jeder der Zuordnungskarteneinträge entspricht einem einzigen. Datenblock der mehreren Datenblöcke,jeder der Zuordnungskarteneinträge enthält einen oder mehrere Zuordnungskartenuntereinträge,jeder Zuordnungskartenuntereintrag entspricht einem einzelnen Datenunterblock,jeder Zuordnungskartenuntereintrag enthält eine Datenunterblockgröße und eine gehashte Kennung der Partition des entsprechenden Datenunterblocks,wobei folgende Schritte durch die Prozessorkomponente einer Steuervorrichtung durchgeführt werden:Empfangen von Angaben von mehreren Knotenvorrichtungen, welche von ihnen verfügbar sind für die Ausführung einer Verarbeitungsaufgabe mit wenigstens einem Datensatzteil der mehreren Datensatzteile,Abrufen der Metadaten und der Zuordnungskartendaten von der einen oder den mehreren Speichervorrichtungen über ein Netzwerk, ansprechend auf die Angabe innerhalb der Metadaten oder der Zuordnungskartendaten, dass der Datensatz partitionierte Daten umfasst:Bestimmen einer ersten Anzahl der verfügbaren Knotenvorrichtungen aus den empfangenen Angaben, welche Knotenvorrichtungen verfügbar sind,Zuweisen, jeder der verfügbaren Knotenvorrichtungen, eines Wertes aus einer Reihe positiver ganzzahliger Werte als ein Festlegungswert, wobei sich die Reihe von einem ganzzahligen Wert von 0 bis zu einem positiven ganzzahligen Wert, dergleich der ersten Anzahl minus dem ganzzahligen Wert von 1 ist, erstreckt,Abrufen der zweiten Anzahl von Knotenvorrichtungen ausden Metadaten oder den Zuordnungskartendaten,Vergleichen der ersten und der zweiten Anzahl von Knotenvorrichtungen, um eine Übereinstimmung zwischen der ersten und der zweiten Anzahl zu erkennen,wenn der Datensatz partitionierte Daten umfasst und wenn die erste und die zweite Anzahl übereinstimmen, werden für jeden Zuordnungskarteneintrag der Zuordnungskartendaten folgende Schritte durch die Prozessorkomponente durchgeführt:a1) Abrufen, aus einem einzigen Zuordnungskartenuntereintrag des Zuordnungskarteneintrags, der gehashten Kennung für einen einzigen Datenunterblock innerhalb des entsprechenden Datenblocks,a2) Abrufen, aus jedem Zuordnungskartenuntereintrag, einer Datenunterblockgröße für jeden der Datenunterblöcke innerhalb des entsprechenden Datenblocks,b) Bestimmen einer Stelle des entsprechenden Datenblocks innerhalb der Datendatei,c) Dividieren der gehashten Kennung durch die erste Anzahl, um einen Modulo-Wert zu erhalten,d) Vergleichen des Modulo-Werts mit dem jeder der verfügbaren Knotenvorrichtungen zugewiesenen Festlegungswert, um eine verfügbare Knotenvorrichtung zu identifizieren, der ein Festlegungswert zugewiesen ist, welcher mit dem Modulo-Wert übereinstimmt, unde) Übertragen eines Zeigers, von der Steuervorrichtung an die verfügbare Knotenvorrichtung, welcher der Festlegungswert zugewiesen ist, der mit dem Modulo-Wert übereinstimmt, wobei der Zeiger Folgendes umfasst:e1) eine Angabe zur Stelle des entsprechenden Datenblocks unde2) eine Summe der Datenunterblockgrößen aller Datenunterblöcke innerhalb des entsprechenden Datenblocks.
An apparatus includes a processor component caused to: retrieve metadata of organization of data within a data set, and map data of organization of data blocks within a data file; receive indications of which node devices are available to perform a processing task with a data set portion; and in response to the data set including partitioned data, compare the quantities of available node devices and of the node devices last involved in storing the data set. In response to a match, for each map data map entry: retrieve a hashed identifier for a data sub-block, and a size for each of the data sub-blocks within the corresponding data block; divide the hashed identifier by the quantity of available node devices; compare the modulo value to a designation assigned to each of the available node devices; and provide a pointer to the available node device assigned the matching designation.</abstract><oa>free_for_read</oa></addata></record> |
| fulltext | fulltext_linktorsrc |
| identifier | |
| ispartof | |
| issn | |
| language | ger |
| recordid | cdi_epo_espacenet_DE112016001075B4 |
| source | esp@cenet |
| subjects | CALCULATING COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS COMPUTING COUNTING ELECTRIC DIGITAL DATA PROCESSING PHYSICS |
| title | VERTEILTES SPEICHERN UND ABRUFEN VON DATENSÄTZEN |
| url | https://sfx.bib-bvb.de/sfx_tum?ctx_ver=Z39.88-2004&ctx_enc=info:ofi/enc:UTF-8&ctx_tim=2025-01-10T18%3A40%3A12IST&url_ver=Z39.88-2004&url_ctx_fmt=infofi/fmt:kev:mtx:ctx&rfr_id=info:sid/primo.exlibrisgroup.com:primo3-Article-epo_EVB&rft_val_fmt=info:ofi/fmt:kev:mtx:patent&rft.genre=patent&rft.au=Bowman,%20Brian%20Payton&rft.date=2024-05-23&rft_id=info:doi/&rft_dat=%3Cepo_EVB%3EDE112016001075B4%3C/epo_EVB%3E%3Curl%3E%3C/url%3E&disable_directlink=true&sfx.directlink=off&sfx.report_link=0&rft_id=info:oai/&rft_id=info:pmid/&rfr_iscdi=true |