sql >> Databáze >  >> RDS >> PostgreSQL

Sqoop na Dataproc nemůže exportovat data do formátu Avro

Problém by mohl být v různých verzích Avro v Dataproc Hadoop (Avro 1.7.7) a Sqoop 1.4.7 (Avro 1.8.1).

Možná budete chtít zkusit downgradovat Sqoop na 1.4.6, která závisí na Avro 1.7, a použít avro-tools-1.7.7.jar během odesílání úlohy.

Upraveno:

Chcete-li vyřešit problém s načítáním třídy, musíte nastavit mapreduce.job.classloader=true při odesílání úlohy Dataproc:

gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
    --class=org.apache.sqoop.Sqoop \
    --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
    --properties=mapreduce.job.classloader=true \
    -- \
    . . .



  1. Použité příkazy SELECT mají jiný počet sloupců (REDUX!!)

  2. php vložení pole preg_match_all

  3. Jaké je nejlepší řazení MySQL pro německý jazyk

  4. Názvy tabulek MySQL s malými písmeny ve Windows Velká jména v systému Unix