Výchozí konfigurace aplikací můžete přepsat tak, že při vytváření klastru zadáte konfigurační objekt pro aplikace. Na konfigurační objekt se odkazuje jako na soubor JSON. Konfigurační objekty se skládají z klasifikace, vlastností a volitelných vnořených konfigurací. Vlastnosti jsou nastavení, která chcete v tomto souboru změnit. V jednom objektu JSON můžete zadat více klasifikací pro více aplikací.
Chcete-li přepsat hive-site.xml informacemi o vašem externím metaúložišti mysql, vytvořte konfigurační soubor s názvem hiveConfiguration.json obsahující úpravy hive-site.xml:
[
{
"Classification": "hive-site",
"Properties": {
"javax.jdo.option.ConnectionURL": "jdbc:mysql:\/\/hostname:3306\/hive?createDatabaseIfNotExist=true",
"javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
"javax.jdo.option.ConnectionUserName": "username",
"javax.jdo.option.ConnectionPassword": "password"
}
}
]
K vytvoření clusteru použijte hiveConfiguration.json s následujícím příkazem AWS CLI:
aws emr create-cluster --release-label emr-5.11.0 --instance-type m3.xlarge --instance-count 2 \
--applications Name=Hive --configurations ./hiveConfiguration.json --use-default-roles
Odkaz:
https://docs.aws.amazon .com/emr/latest/ReleaseGuide/emr-hive-metastore-external.html