美文网首页
第4-6章 分布式计算 ,存储,监控

第4-6章 分布式计算 ,存储,监控

作者: 凯睿看世界 | 来源:发表于2019-03-08 15:43 被阅读0次

MapReduce :是一个编程模型,用于大规模数据集(TB级)的并行运算。
Apache Hadoop:
Apache Spark:是一个快速和通用集群计算系统。
Apache Mesos:是Apache下开源分布式资源管理框架,它被称为分布式系统的内核,使用内置Linux内核相同的原理,只是在不同的抽象层次。该Mesos内核运行在每个机器上,在整个数据中心和云环境内向应用程序(例如:Hadoop,Spark,Kafka,Elasticsearch等提供资源管理和资源负载的API接口)。

Mesos抽象了CPU,内存,硬盘资源,让数据中心的功能对外就像一个大的机器。

Bigtable是非关系型数据库,是一个稀疏的,分布式的,持久化存储的多纬度排序map。
Apache HBase是一个分布式的,面向列的开源数据库。
Apache Cassandra是一个开源,分布式,去中心化,弹性可扩展,高可用性,容错,一致性可调,面向行的数据库。
Memcached是一个高性能的分布式内存对象缓存系统,用于动态web应用以减轻数据库负载。
Redis是一个key-value模型的内存数据存储系统。和Memcached类似,但它支持存储的value类型相对更多,包括string,hash,list,set,和sorted set,range query范围查询以及位图hyperloglogs.
MongoDB:与Redis或者HBase等不同,MongoDB是一个介入关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它旨在为Web应用提供可扩展的高性能数据存储解决方案。
Nagios: 是一款开源的免费网络监控工具。提供了服务器,网络,和应用的完整的IT监控和报警,可以有效监控Window,Linux,和unix的主机状态,以及交换机,路由器,打印机等网络设备。

Zabbix是一个企业级的,开源的,分布式的监控套件。Zabbix可以监控服务器,虚拟机和网络设备的运行状况。

Consul可以为基础设施提供服务发现和配置,核心功能如下:
服务发现:使用DNS或HTTP,应用程序可以很容易的找到他们所依赖的服务。
健康检测(Health Checking):Consul客户端可以提供任何数量的将抗检测,可以是给定服务,或本地节点。可以用来监控集群通信情况。
Keay/Value 存储:可以实现包括动态配置,功能降级,协调,领导人选举等。
多数据中心:Consul支持开箱即用的多数据中心。
Zookeeper:主要用来解决分布式应用中经常遇到的一些数据管理问题,如统一命名服务,状态同步服务,集群管理,分布式应用配置管理等。

telnet localhost 11211

Spymemcached
https://github.com/dustin/java-memcached-client

XMemcached
https://github.com/killme2008.xmemcached

相关文章

网友评论

      本文标题:第4-6章 分布式计算 ,存储,监控

      本文链接:https://www.haomeiwen.com/subject/ggirpqtx.html