Vaše používání --packages argument je špatný:
--packages com.mongodb.spark:hdfs:///user/liac/package/jars/mongo-spark-connector_2.11-1.0.0-assembly.jar:1.0.0
Musí být ve tvaru groupId:artifactId:version jak naznačuje výstup. Nelze s ním použít adresu URL.
Příklad používání mongoDB s jiskrou s vestavěnou podporou úložiště:
$SPARK_HOME/bin/spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0
Pokud trváte na použití vlastní nádoby, můžete ji poskytnout prostřednictvím --repositories . Hodnota argumentu je
Například ve vašem případě by to mohlo být
--repositories hdfs:///user/liac/package/jars/ --packages org.mongodb.spark:mongo-spark-connector_2.11:1.0.0