sql >> Databáze >  >> RDS >> PostgreSQL

AWS Glue - Před vložením ořízněte cílovou tabulku postgres

Vyzkoušel jsem DROP/ TRUNCATE scénář, ale nebyli schopni to udělat s připojeními již vytvořenými v Glue, ale s čistým ovladačem Python PostgreSQL, pg8000 .

  1. Stáhněte si tar z pg8000 z pypi
  2. Vytvořte prázdný soubor __init__.py v kořenové složce
  3. Zkomprimujte obsah a nahrajte jej do S3
  4. Odkaz na soubor zip v Python lib path práce
  5. Nastavte podrobnosti o připojení k databázi jako parametry úlohy (nezapomeňte před všechny názvy klíčů přidat -- ). Zaškrtněte políčko „Šifrování na straně serveru“.

Poté můžete jednoduše vytvořit připojení a spustit SQL.

import sys
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.dynamicframe import DynamicFrame
from awsglue.job import Job

import pg8000

args = getResolvedOptions(sys.argv, [
    'JOB_NAME',
    'PW',
    'HOST',
    'USER',
    'DB'
])
# ...
# Create Spark & Glue context

job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# ...
config_port = 5432
conn = pg8000.connect(
    database=args['DB'], 
    user=args['USER'], 
    password=args['PW'],
    host=args['HOST'],
    port=config_port
)
query = "TRUNCATE TABLE {0};".format(".".join([schema, table]))
cur = conn.cursor()
cur.execute(query)
conn.commit()
cur.close()
conn.close()


  1. Zábava s BULK INSERT SQL SERVER - typ neshoda nebo neplatný znak pro zadanou kódovou stránku

  2. MySQL Workbench mnohem rychlejší než Python pro stejný dotaz

  3. Magento Install – název identifikátoru je příliš dlouhý

  4. mysql více NEBO NELÍBÍ