sql >> Databáze >  >> RDS >> Mysql

Externí metaúložiště úlu pro EMR

Výchozí konfigurace aplikací můžete přepsat tak, že při vytváření klastru zadáte konfigurační objekt pro aplikace. Na konfigurační objekt se odkazuje jako na soubor JSON. Konfigurační objekty se skládají z klasifikace, vlastností a volitelných vnořených konfigurací. Vlastnosti jsou nastavení, která chcete v tomto souboru změnit. V jednom objektu JSON můžete zadat více klasifikací pro více aplikací.

Chcete-li přepsat hive-site.xml informacemi o vašem externím metaúložišti mysql, vytvořte konfigurační soubor s názvem hiveConfiguration.json obsahující úpravy hive-site.xml:

[
    {
      "Classification": "hive-site",
      "Properties": {
        "javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
        "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
        "javax.jdo.option.ConnectionUserName": "username",
        "javax.jdo.option.ConnectionPassword": "password"
      }
    }
]

K vytvoření clusteru použijte hiveConfiguration.json s následujícím příkazem AWS CLI:

aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles

Odkaz:

https://docs.aws.amazon .com/emr/latest/ReleaseGuide/emr-hive-metastore-external.html



  1. Nelze zobrazit obrázek pomocí php a mysql

  2. Jak provést uloženou proceduru v programu C#

  3. Jak seřadit dotaz MySQL podle konkrétního sloupce?

  4. Jaká je alternativa klauzule LIMIT v JPQL?