版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
groupByKey算子序言groupByKey算子/01序言RDD算子分为两类:Transformation(转换)与Action(行动)Transformation:根据数据集创建一个新的数据集,计算后返回一个新RDD;例如:Map将数据的每个元素经过某个函数计算后,返回一个新的分布式数据集。groupByKey算子属于Transformation(转换)算子。序言Transformation变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。
Transformation操作是延迟计算的,也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行,需要等到有Action操作的时候才会真正触发运算。Action行动算子:这类算子会触发SparkContext提交Job作业。Action算子会触发Spark提交作业(Job),并将数据输出Spark系统。序言-groupbykey的归类
/02groupByKey算子
在一个由(K,V)对组成的数据集上调用,返回一个(K,Seq[V])对的数据集。注意:默认情况下,使用8个并行任务进行分组,你可以传入numTask可选参数,根据数据量设置不同数目的Task。scala>valrdd0=sc.parallelize(Array((1,1),(1,2),(1,3),(2,1),(2,2),(2,3)),3)rdd0:org.apache.spark.rdd.RDD[(Int,Int)]=ParallelCollectionRDD[0]atparallelizeat:24scala>rdd0.collectres7:Array[(Int,Int)]=Array((1,1),(1,2),(1,3),(2,1),(2,2),(2,3))
groupByKey算子(一)
在一个由(K,V)对组成的数据集上调用,返回一个(K,Seq[V])对的数据集。注意:默认情况下,使用8个并行任务进行分组,你可以传入numTask可选参数,根据数据量设置不同数目的Task。
scala>valrdd5=rdd0.groupByKey()rdd5:org.apache.spark.rdd.RDD[(Int,Iterable[Int])]=ShuffledRDD[1]atgroupByKeyat:25scala>rdd5.collectres8:Array[(Int,Iterable[Int])]=Array((1,CompactBuffer(1,2,3)),(2,CompactBuffer(1,2,3)))
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 阅读《爱的教育》心得体会
- 初中选择方案问题分析(2篇)
- 制定详细实施方案(2篇)
- 编制采购招标方案(2篇)
- 保洁现场管理方案(2篇)
- 新能源汽车维护与故障诊断 课件全套 项目1-5 新能源汽车高压安全防护及重要注意事项-混合动力汽车故障诊断与分析
- 2024年4月自考03365物流运输管理试题
- 幼儿园小班《好朋友》教案7篇
- 2025版高考英语一轮总复习考点突破专题三三大从句和特殊句式第二讲定语从句考点二关系副词的用法
- 2024春高中地理区域地理第1篇区域地理读图基础第1单元地球与地图第2课时地图与等高线地形图考点2等高线地形图判读应用课内精讲
- 2024年北京顺义市政控股有限责任公司招聘笔试参考题库含答案解析
- 困难气道管理新进展讲诉课件
- 班主任经验分享如何提高学生的学习积极性和主动性
- 组建运输物流公司方案
- 民间玩具教学分析报告
- 评价中心测评技术
- 物理(九省联考真题完全解读贵州卷)-2024年1月“九省联考”真题完全解读与考后提升
- 人工智能在物流运输中的应用创新
- 诊所污水污物粪便处理方案
- 智能配电柜技术方案
- 大酒店改造升级可行性方案
评论
0/150
提交评论