Měl jsem přesně tento problém s mysql/mariadb a z této otázky jsem získal VELKÉ vodítko
Takže váš příkaz pyspark by měl být:
pyspark --conf spark.executor.extraClassPath=<jdbc.jar> --driver-class-path <jdbc.jar> --jars <jdbc.jar> --master <master-URL>
Sledujte také chyby při spuštění pysparku jako "Varování:Místní jar ... neexistuje, přeskakování." a "ERROR SparkContext:Jar not found at ...", pravděpodobně to znamená, že jste cestu napsali špatně.