大数据内容介绍

作者: 无羡爱诗诗 | 来源:发表于2018-12-17 13:27 被阅读7次

大数据的作用和影响:

改变经济社会管理方式;促进行业金融发展;推动产业转型升级;助力智慧城市建设;创新商业模式;改变科学研究的方法论。

大数据产业链分析:

商业角度:

大数据提供者:拥有数据的公司;

大数据技术提供者;

大数据服务提供者;

从技术角度分析大数据产业链:

1) 大数据采集;

2)大数据存储、管理和处理;

3)大数据分析和挖掘;

4)大数据呈现和应用。

什么是大数据?

大数据不再仅表示大量的数据,还涵盖了处理数据的速度。

大数据是指大小超过了典型数据库软件工具手机、存储、管理和分析的能力的数据集。

大数据的特征:

1)多样性;

2)速度快;

3)数据量大;

4)价值密度低。

大数据的存储结构

分布式存储和访问是大数据存储的关键技术,它具有经济、高效、容错性好等特点。

大数据的计算模式

目前主要的数据处理计算模型有MapReduce计算模型、DAG计算模型、BSP计算模型等。

MapReduce是一个高性能的批处理分布式计算框架,用于对海量数据进行并行分析和处理。

利用分布式共享内存进行计算,可以有效减少数据读写和移动的开销,及大地提高数据处理的性能,Spark是这种技术的开源实现代表;

适用于大数据实时处理的技术:Storm是其中的开源代表。

Hadoop在大数据中的地位

Hadoop是Apache的一个开源项目,它是一个对大量数据进行分布式处理的软件架构。框架最核心的设计就是:为海量的数据提供了存储的HDFS技术,以及为海量的数据提供了计算的MapReduce技术。

有关Hadoop的问题解答

1、Hadoop的核心通信机制是什么?

RPC即远程过程调用时Hadoop中的核心通信机制。RPC是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。

2、Hadoop1时代与Hadoop2时代的最大不同是什么?

Hadoop2时代增加了YARM----通用资源管理框架。

相关文章

  • 大数据内容介绍

    大数据的作用和影响: 改变经济社会管理方式;促进行业金融发展;推动产业转型升级;助力智慧城市建设;创新商业模式;改...

  • [数据知识]DSCMM 数据安全能力成熟度模型

    本文介绍国标《GB/T 数据安全能力成熟度模型》DSCMM简介DSCMM主要内容DSCMM应用 简介 价值 随着大...

  • 79. TensorFlow教程(三)基础概念

    本文介绍TensorFlow基础概念,主要内容如下: TensorFlow模块与架构介绍 TensorFlow数据...

  • 将ContentProvider封装成SharedPrefere

    一、初略介绍 ContentProvider,即内容提供者,是 Android 四大组件之一。主要功能是进程间数据...

  • 270个案例Excel操作技巧,够你牛逼的了!

    内容介绍: 内容涉及Excel选项设置、功能命令等操作方面的技巧,包括数据透视表、名称、条件格式、数据有效性、数据...

  • 内容介绍

    妖与仙的师徒虐恋。 本是一棵由幽冥司司主青衣栽在蓬莱的桃花树,每天吸收着这蓬莱的仙露,化为了人形。被蓬莱岛主君安收...

  • 内容介绍

    多学点知识,少走点弯路,花鸽每晚为你献上一份日常小知识!

  • 内容介绍

    UI优化主要是批处理,重建。 第一阶段:基础知识,基础名词 第二阶段:每一个UI,主要实现,和基本关系 第三阶段:...

  • 内容介绍

    这个文集主要是为了记录阅读Python Interpreter源码时的所得 阅读源码时的主要参考: 书籍:《Pyt...

  • 内容介绍

    从今起,在介绍感觉统合的同时,会把实用的行为分析法介绍给大家,同时,通过相关的书籍和案例分享,来帮助大家更好的分析...

网友评论

    本文标题:大数据内容介绍

    本文链接:https://www.haomeiwen.com/subject/gliqkqtx.html