Mam duży tabelę mysql, którą chciałbym przenieść do tabeli Hadoop/Hive. Czy istnieją standardowe polecenia lub techniki przesyłania prostej (ale dużej) tabeli z Mysql do Hive? W tabeli przechowywane są głównie dane analityczne.Jak przenieść tabelę mysql do ula?
przede wszystkim pobierania mysql-connector-java-5.0.8 i umieścić słoik do folderu lib i bin Sqoop
Tworzenie definicja tabeli w ulu z dokładnymi nazwami pól i typami jak w mysql
import sqoop --verbose --fields-zakończone-przez ',' --connect jdbc: mysql: // localhost/test - tabela pracowników --hive-import --warehouse-dir/user/hive/warehouse --fields-terminated -poprzez '' --split po ID --hive stołu pracownika
testu - Nazwa bazy
pracownik - nazwa Tabela (obecnej w teście)
/użytkownika/ula/magazyn - Katalog w HDFS, gdzie dane muszą być importowane
--split-by id - id może być kluczem głównym tabeli "pracownik"
--hive-table pracownik - pracownik stół, którego definicja jest obecny w Ulu
Sqoop User Guide (Jeden z najlepszych podręcznika do nauki Sqoop)
Apache Sqoop jest narzędziem, które rozwiązuje ten problem:
Apache Sqoop (TM) jest narzędzie przeznaczone do skutecznego przenoszenia nasypowa między Apache Hadoop i magazynów danych strukturyzowanych, na przykład jako relacyjnych baz danych.
http://oracleabc.com/b/archives/1428 być może? –
@MarcB ten link był super pomocny tnx –