sortBy和sortByKey使用举例

作者: Edison_Tu | 来源:发表于2018-12-26 17:45 被阅读0次

首先读取数据

rawData = sc.textFile(u"/user/tq/iris.txt")
rawData.take(5)

1.PNG

然后对某字段记录进行计数

rawData1 = rawData.map(lambda x:x.split(",")).map(lambda x:x[0]).map(lambda x:(x,1)).reduceByKey(lambda x,y:x+y)
rawData1.take(5)

2.PNG

sortData1= rawData1.map(lambda (x,y):(y,x)).sortByKey(ascending = False)
sortData1.take(10)

3.PNG

sortData2 = rawData1.sortBy(lambda x:x[1],ascending = False)
sortData2.take(10)

4.PNG

sortBy和sortByKey使用举例
首先读取数据结果如下：然后对某字段记录进行计数结果如下：使用sortByKey 结果如下：使用sortB...
Spark常用函数
1. 启动pyspark shell 2. rdd 常用函数 sortByKey函数、sortBy函数功能说明：...
spark的sortbykey的二次排序
基本思路是自定义一个sortbykey的类，然后是使用map转换，其中key为该对象即可，最后调用算子sortby...
【Spark Java API】Transformation(9
sortByKey 官方文档描述：函数原型：源码分析： **sortByKey() 将 RDD[(K, V)]...
pyspark学习笔记（二）
pyspark-rdd sortBy sortBy(keyfunc, ascending=True, numPar...
underscore.js
1._.sortBy 对象排序，字符串sortBy逆序加-号是排不出来的，可以采用sortBy().revrese...
sortByKey()
sortByKey一定会有shuffer作用：在一个(K,V)的RDD上调用，K必须实现Ordered接口，返回一...
sortBy()
作用；使用func先对数据进行处理，按照处理后的数据比较结果排序，默认为正序。需求：创建一个RDD，按照不同的规...
Kotlin 集合排序
1. 先构造一个业务类 //定义一个Person类，有name 和 age 两属性 2. 使用 sortBy 排序...
2021-07-01记录
上午1、数组对象中按某个key排序import _sortBy from 'lodash/sortBy';_so...

本文标题：sortBy和sortByKey使用举例

本文链接：https://www.haomeiwen.com/subject/litklqtx.html