Я новичок в Scala (и Spark). Я пытаюсь прочитать файл csv и извлечь несколько произвольных столбцов из данных. Следующая функция делает это, но с жестко заданными индексами столбцов:
def readCSV(filename: String, sc: SparkContext): RDD[String] = {
val input = sc.textFile(filename).map(line => line.split(","))
val out = input.map(csv => csv(2)+","+csv(4)+","+csv(15))
return out
}
Есть ли способ использовать карту с произвольным количеством индексов столбцов, переданных функции в массиве?