Я пытался найти это в stackoverflow, но не смог найти. Есть ли синтаксис искры, который фильтрует, где два или более столбца имеют одно и то же значение? Например что-то вроде
dataFrame.filter($"col01" == $"col02"== $"col03")
Фильтрация строк в Spark для нескольких столбцов с одинаковым значением
Ответы (1)
Да, есть. Вы почти правильно поняли, поставьте между ними 3 '='
dataFrame.filter($"col01" === $"col02"=== $"col03")
Пример:
val df = spark.sparkContext.parallelize(Array((1,1,1),(1,2,3))).toDF("col01","col02","col03")
df.filter($"col01" === $"col02"=== $"col03").show(false)
Результат:
person
Teja Parimi
schedule
03.09.2019
