sql >> Databáze >  >> RDS >> PostgreSQL

Připojení Pyspark k databázi Postgres v notebooku ipython

Nejsem si jistý, proč pro mě výše uvedená odpověď nefungovala, ale myslel jsem, že bych se také mohl podělit o to, co mi skutečně fungovalo, když jsem spouštěl pyspark z notebooku Jupyter (Spark 2.3.1 - Python 3.6.3):

from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.driver.extraClassPath', '/path/to/postgresql.jar').getOrCreate()
url = 'jdbc:postgresql://host/dbname'
properties = {'user': 'username', 'password': 'pwd'}
df = spark.read.jdbc(url=url, table='tablename', properties=properties)


  1. Aktualizace více řádků v MySQL

  2. Jak COLLATION() funguje v MariaDB

  3. Oracle PL/SQL - Jak uniknout dvojtečce (:), která je nesprávně interpretována pro proměnnou vazby

  4. Ukládá datová sada jdbc všechny řádky v paměti jvm