问 选择DataFrame中数组的最后一个元素

您可以使用 size 函数来计算数组中所需项的索引，然后将其作为 Column.apply 的参数传递(显式或隐式)：

import org.apache.spark.sql.functions._
import spark.implicits._
actualDF.withColumn("hit_songs", $"hit_songs".apply(size($"hit_songs").minus(1)))

或者：

actualDF.withColumn("hit_songs", $"hit_songs"(size($"hit_songs").minus(1)))

这里有一种方法：

val actualDF = Seq(
  ("beatles", Seq("help", "hey", "jude")),
  ("romeo", Seq("eres", "mia")),
  ("elvis", Seq("this", "is", "an", "example"))
).toDF("name", "hit_songs")
import org.apache.spark.sql.functions._
actualDF.withColumn("total_songs", size($"hit_songs")).
  select($"name", $"hit_songs"($"total_songs" - 1).as("last_song"))
// +-------+---------+
// |   name|last_song|
// +-------+---------+