美文网首页
countByKey()

countByKey()

作者: yayooo | 来源:发表于2019-08-06 20:18 被阅读0次

key出现的次数

package com.atguigu

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Action {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("ADCount")

    val sc = new SparkContext(conf)

    val rdd: RDD[(String, Int)] = sc.makeRDD(List(("a",1),("b",2),("a",3),("b",4),("a",5)))
    val stringToLong: collection.Map[String, Long] = rdd.countByKey()
    println(stringToLong)

  }
}

Map(a -> 3, b -> 2)

相关文章

  • countByKey()

    key出现的次数 Map(a -> 3, b -> 2)

  • 17-SparkCore04

    collect collect countByKey countByValue collectAsMap grou...

  • reduceByKey和countByKey区别

    相同点: 两者都会根据key来分组 不同点:reduceByKey会根据用户传入的聚合逻辑对数组内的数据进行聚合,...

  • Spark行动算子之countByKey

    今天我们来学习一下Spark的一个行动算子countByKey。先去API中看一下: 此算子的作用是计算每一个ke...

网友评论

      本文标题:countByKey()

      本文链接:https://www.haomeiwen.com/subject/mfttdctx.html