将 dataframe 利用 pyspark 列合并为一行，类似于 sql 的 GROUP_CONCAT 函数。例如如下 dataframe :
需要按照列相同的列 d 将 s 合并，想要的结果为：
利用 groupby 去实现就好，spark 里面可以用 concat_ws 实现，可以看这个 Spark中SQL列合并为一行，而这里的 concat_ws 合并缺很奇怪，官方文档的实例为：
作者自己尝试得到：
不是想要的效果。而 collect_list 能得到相同的效果：
得到的结果为：
将dataframe利用pyspark列合并为一行，类似于sql的GROUP_CONCAT函数。例如如下dataf...
1、多行文本合并成一行 方法一： 第1步：选中要合并的文本，调整列宽到足够宽。 第2步：依次单击【开始】-【填充】...
在PySpark中使用现有列创建新列 假如现在有如下DataFrame： 创建新列，使其变成这样 这里使用了pys...
1Oracle的多行合并为一行listagg与wm_concat这两个函数可以实现2order by 中列，应该出...
SELECT A, GROUP_CONCAT(B SEPARATOR ',' ), GROUP_CONCAT( C...
简介 PySpark中的withColumn()函数可以用于修改或者更新值，以及转换DataFrame中已存在的列...
pyspark package subpackages pyspark.sql module pyspark.st...
Select操作 在PySpark中，select()函数是用来从DataFrame结构中选择一个或多个列，同样可...
由于问卷系统的问题，导出的数据是每个选项为一列，但分析时需要将单选题的多列数据合并为一列，才方便做透视表或spss...
pyspark入门资料 公众号回复：pyspark （会有pyspark资料大礼包：Learning PySpar...
本文标题：pyspark列合并为一行
本文链接：https://www.haomeiwen.com/subject/oniwoqtx.html
网友评论