用户对问题“Spark DataFrame:将144列转换为行”的回答

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

打篮球的烤面包 · 别再用QQ的破数字邮箱了，你其实还有注册姓名 ...· 5 月前 ·

开朗的书包 · 5本主角是妖修的玄幻小说，重生成妖，逐步踏入 ...· 1 年前 ·

愉快的钱包 · 广州到深圳的和谐号经过哪些站?_百度知道· 1 年前 ·

时尚的楼房 · 比亚迪海鸥或首搭 ...· 1 年前 ·

一身肌肉的烈马 · 雷克萨斯全新旗舰轿跑SUV ...· 1 年前 ·

腾讯云

备案控制台

开发者社区

TVP

文章/答案/技术大牛

写文章

Spark DataFrame:将144列转换为行

Table A 
|dt  |AA|BB|CC|     
|----|--|--|--|
|1012|10|12|13|        
|1013|13|14|15|
|1014|14|18|30|
Table B (After transform Table A) 
|dt  |Head|Val|
|----|----|---
|1012|AA  |12|
|1013|AA  |13|
|1014|AA  |14|
|1012|BB  |12|
|1013|BB  |14|
|1014|BB  |18|
|1012|CC  |13|
|1013|CC  |15|
|1014|CC  |30|

val dfA = Seq((1012, 10, 12, 13), (1013, 13, 14, 15), (1014, 14, 18, 30)).toDF("dt", "AA", "BB", "CC")
val columns = dfA.columns.filter(!_.equalsIgnoreCase("dt"))
var cmd = s"stack(${columns.length},"
for( col <- columns) cmd += s"'$col',$col,"
cmd = cmd.dropRight(1) + ")"
val dfB = dfA.selectExpr("dt", cmd)
  .withColumnRenamed("col0", "Head")
  .withColumnRenamed("col1", "Val")

+----+----+---+
|  dt|Head|Val|
+----+----+---+
|1012|  AA| 10|
|1012|  BB| 12|
|1012|  CC| 13|
|1013|  AA| 13|

推荐文章

打篮球的烤面包 · 别再用QQ的破数字邮箱了，你其实还有注册姓名全拼微软邮箱的机会_姓名全拼是邮箱最好的名字吗？-CSDN博客

5 月前

开朗的书包 · 5本主角是妖修的玄幻小说，重生成妖，逐步踏入妖怪的修炼之路！_兔子

1 年前

愉快的钱包 · 广州到深圳的和谐号经过哪些站?_百度知道

1 年前

时尚的楼房 · 比亚迪海鸥或首搭孚能科技钠离子电池已满足A0级车型需求

1 年前

一身肌肉的烈马 · 雷克萨斯全新旗舰轿跑SUV LF-Z或2022年发布_太平洋汽车网

1 年前

Spark DataFrame:将144列转换为行

2 个回答