Jak odstraním prázdné tweety pomocí filter() v pyspark?

Pokud jsou vaše data takto

tweets = sc.parallelize(["title1", "", "title2", "title3", ""])

můžete použít len(x) jako podmínka filtru:

tweets.filter(lambda x: len(x) > 0).count()