HIVE TABLE LINKS

System and method for virtual data warehouses having table link capabilities are provided. In particular, some embodiments include a plurality of virtual data warehouses built on top of a data center running Apache Hive. Each virtual data warehouse can be modeled as a database and manage data in for...

Ausführliche Beschreibung

Gespeichert in:
Bibliographische Detailangaben
Hauptverfasser: Namit JAIN, Bhushan MANDHANI, Raghotham Sathyanarayana MURTHY, Sambavi MUTHUKRISHNAN
Format: Patent
Sprache:eng ; spa
Schlagworte:
Online-Zugang:Volltext bestellen
Tags: Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
Beschreibung
Zusammenfassung:System and method for virtual data warehouses having table link capabilities are provided. In particular, some embodiments include a plurality of virtual data warehouses built on top of a data center running Apache Hive. Each virtual data warehouse can be modeled as a database and manage data in forms of database tables. The virtual data warehouse can include links which import tables from other virtual data warehouses by reference. Each link may contain partition metadata for the table partitions by dates of the source table and retention metadata to declare the needed retention time period for the partitions of the source table. The links can be dynamic and update when the corresponding source table receives new partitions or drops partitions. When a virtual data warehouse is migrated to another data center, the system can retain necessary table partitions to remain on the current data center based on the partition metadata and retention metadata of the links. Se proporcionan un sistema y un método para almacenes virtuales de datos que tienen capacidades de enlace de tabla. En particular, algunas modalidades incluyen una pluralidad de almacenes virtuales de datos construidos sobre un centro de datos que ejecuta Apache Hive. Cada almacén virtual de datos puede modelarse como una base de datos y maneja datos en formas de tablas de base de datos. El almacén virtual de datos puede incluir enlaces que imparten tablas desde otros almacenes virtuales de datos como referencia. Cada enlace puede contener metadatos de división para las divisiones de tablas por fechas de la tabla fuente y metadatos de retención para declarar el período de tiempo de retención necesario para las divisiones de la tabla fuente. Los enlaces pueden ser dinámicos y se actualizan cuando la tabla fuente correspondiente recibe nuevas divisiones o deja caer divisiones. Cuando un almacén virtual de datos migra a otro centro de datos, el sistema puede retener las divisiones de tabla necesarias para permanecer en el centro de datos actual con base en los metadatos de división y los metadatos de retención de los enlaces.