Tento problém byl na StackOverflow řešen několikrát:
- Jak zlepšit výkon pro pomalé úlohy Spark pomocí DataFrame a připojení JDBC?
- spark jdbc df limit... co to dělá?
- Jak používat zdroj JDBC k zápisu a čtení dat v (Py)Spark?
a v externích zdrojích:
takže jen pro zopakování - ve výchozím nastavení DataFrameReader.jdbc
nedistribuuje data ani nečte. Používá jedno vlákno, jeden exekutor.
Chcete-li distribuovat čtení:
-
použijte rozsahy s
lowerBound
/upperBound
:Properties properties; Lower Dataset<Row> set = sc .read() .option("partitionColumn", "foo") .option("numPartitions", "3") .option("lowerBound", 0) .option("upperBound", 30) .option("url", url) .option("dbtable", this.tableName) .option("driver","com.mysql.jdbc.Driver") .format("jdbc") .load();
-
predicates
Properties properties; Dataset<Row> set = sc .read() .jdbc( url, this.tableName, {"foo < 10", "foo BETWWEN 10 and 20", "foo > 20"}, properties )