1.为应用构建基本运行环境,Driver 创建SparkContext进行资源的申请,任务的分配,监控。2.Clu...[作者空间]
1. a list of partitions 2. a function for computing each ...[作者空间]
fastdisk 10xmemory 100x easycodeinteractive shell unified...[作者空间]
准备一份数据/home/admin/data/helloworld.txt 按照词频排序[作者空间]
先准备两个rdd数据 1.a join b得到的结果 2.a leftOuterJoin b得到的结果 3.a r...[作者空间]
1.transformation lazy:仅仅记录transformation路径,不发生操作 map 对每一个...[作者空间]
1.通过集合生成 Spark will run one task for each partition of th...[作者空间]
1.两个namenode,在同一个工作空间,一个active一个standby,只有一个是正在运行提供服务,有zo...[作者空间]
1.zookeeper上面没收到regionserver心跳,发现掉线2.HLog进行拆分,分配到相应的regio...[作者空间]
1.写入流程 1.从zookeeper上获取meta地址2.在meta里面获取数据的regionserver和re...[作者空间]
Hbase是分布式,可伸缩,面向列,高容错,快速查询写入的海量数据存储系统。 1.client提供访问Hbase的...[作者空间]
这里在导入的时候出现了乱码的问题,这个csv的文件,要先转换为utf-8的模式。[作者空间]
使用kafka自身保存offset Kafka版本0.10.1.1,已默认将消费的offset迁入到了Kafka一...[作者空间]
这个地方加一个cache()方法,这里反复拉取的时候太消耗内存[作者空间]
1.nginx配置 让浏览网页的记录写在一个固定的文件里面。然后写一个定时任务的脚本,让任务定时切割那个文件,把每...[作者空间]
1.vi /etc/profile2.在打开的profile文件末尾加上 #JAVA_HOMEexport JAV...[作者空间]
1)克隆一个新的虚拟机 2)在终端命令窗口中输入 [root@hadoop105 /]#vim /etc/udev...[作者空间]
1.命令行调用 vi /etc/sysconfig/network-scripts/ifcfg-eth0 2.上面...[作者空间]