sql >> Databáze >  >> RDS >> Mysql

Způsob, jak číst data tabulky z Mysql do Pig

Jak říkáte, DBStorage podporuje pouze ukládání výsledků do databáze.

Chcete-li načíst data z MySQL, můžete se podívat do projektu s názvem sqoop (který zkopíruje data z databáze do HDFS), nebo můžete provést výpis mysql a poté zkopírovat soubor do HDFS. Oba způsoby vyžadovaly určitou interakci a nelze je přímo použít zevnitř Pig.

Třetí možností by bylo podívat se na psaní Pig LoadFunc (říkáte, že jste se pokusili napsat UDF). Nemělo by to být příliš obtížné, budete muset předat téměř stejné možnosti jako DBStorage (ovladač, přihlašovací údaje pro připojení a SQL dotaz ke spuštění) a pravděpodobně můžete také použít nějakou inspekci metadat sady výsledků k automatickému generování schématu.




  1. jak vytvořit uloženou proceduru v oracle, která přijímá pole parametrů

  2. Jak zpracovat datum 0000-00-00 v dotazu jdbc MySQL

  3. Existuje schopnost ANY_VALUE pro mysql 5.6?

  4. ORA-12170:TNS:Vypršel časový limit připojení