ดำเนินการคำสั่ง SQL หลายรายการบน Spark

ปัญหาคือ mkString เชื่อมต่อบรรทัดทั้งหมดในสตริงเดียว ซึ่งไม่สามารถแยกวิเคราะห์เป็นแบบสอบถาม SQL ที่ถูกต้องได้

แต่ละบรรทัดจากไฟล์สคริปต์ควรดำเนินการเป็นการสืบค้นแยกต่างหาก ตัวอย่างเช่น:

scala.io.Source.fromFile("test.sql").getLines()
  .filterNot(_.isEmpty)  // filter out empty lines
  .foreach(query =>
    spark.sql(query).show
  )

อัปเดต

ถ้าแบบสอบถามถูกแยกออกเป็นมากกว่าหนึ่งบรรทัด กรณีจะซับซ้อนกว่านี้เล็กน้อย

เราจำเป็นต้องมีโทเค็นที่เป็นจุดสิ้นสุดของแบบสอบถามอย่างแน่นอน ปล่อยให้มันเป็นอักขระเซมิโคลอน เช่นเดียวกับใน SQL มาตรฐาน

ขั้นแรก เรารวบรวมบรรทัดที่ไม่ว่างเปล่าทั้งหมดจากไฟล์ต้นฉบับ:

val lines = scala.io.Source.fromFile(sqlFile).getLines().filterNot(_.isEmpty)

จากนั้นเราจะประมวลผลบรรทัดที่รวบรวม โดยเชื่อมแต่ละบรรทัดใหม่เข้ากับบรรทัดก่อนหน้า หากไม่ได้ลงท้ายด้วยเครื่องหมายอัฒภาค:

val queries = lines.foldLeft(List[String]()) { case(queries, line) =>
  queries match {
    case Nil => List(line) // case for the very first line
    case init :+ last =>
      if (last.endsWith(";")) {
        // if a query ended on a previous line, we simply append the new line to the list of queries
        queries :+ line.trim
      } else {
        // the query is not terminated yet, concatenate the line with the previous one
        val queryWithNextLine = last + " " + line.trim
        init :+ queryWithNextLine
      }
  }
}