美文网首页
sofa流计算引擎

sofa流计算引擎

作者: 一品悟技术_张驰 | 来源:发表于2017-05-12 19:08 被阅读74次

五:

SOFA微服务生态中,微服务治理中心治理着数以千计的微服务集群,其对集群的治理策略需要根据集群服务器的实时主机状态,和单位时间窗口内的服务调用计算决定。微服务治理中心的职责主要在于治理服务,收集并计算各服务的健康指数应该由第三方组件完成,因此,SOFA流计算引擎应运而生。

SOFA流计算引擎在SOFA生态中的位置如下图:

SOFA流计算引擎,实时不间断的收集数以千计的服务器集群的主机状态信息及服务调用信息,并根据一系列算法,对数据进行清洗,聚合,计算,最后生成健康指数结果,返回至分布式消息总线,最后由服务治理中心获取用以做服务治理策略,在此过程中,元数据流入计算引擎,到计算结果的生成流出,数据延迟在毫秒级,保证了服务治理中心获取集群节点健康指数信息的实时有效性。

六:

SOFA流式计算平台产品定位于为用户提供可接入,低门槛,易部署的实时计算解决方案。平台整体采用微内核+组件的架构方式,内核为SOFA流计算引擎,并配备容器运行,资源管控,监控&UI,统一接入4大组件。SOFA流式计算平台整体架构图如下:

SOFA流计算引擎:

作为平台核心组件,支持fail场景下的自动恢复,内部使用无锁+事件驱动模型实现高性能计算与网络传输,数据计算延迟秒级,集群部署规模可达上千台,整合各种数据存储服务而无需额外的数据集成开发工作,包括SOFA恒河数据库,kafka,hbase,mysql,redis等。

资源管理:

抽象计算资源池,逻辑层实现租户分组隔离,保证用户使用的安全性与独立性。同时,根据计算拓扑组件的运行情况,实现动态资源分配。

虚拟容器管理:

精确至cpu,内存级的计算资源控制,物理层完全隔离提供最有效的防护,一键式部署,轻松实现对集群的弹性扩容操作。

统一接入:

1) 平台支持java,python,shell,php等多种语言接入,并提供了接入kafka,hbase,mysql等基础开发工具包,也可直接把输入,输出源抽象成数据库表,以简单sql的方式直接完成实时数据的处理,简易的接入方式,良好的开发体验隔离了使用者对流计算开发的细节,而专注于自己的业务逻辑处理上。

2) 同时平台提供RPC的方式,用于实时计算并响应具有大运算量的任务。

3) 友好的交互界面,使用者可轻松实现对部署容器的监控和管理操作。

SOFA流式计算平台产品特性一览:

服务运行依赖环境:

1,基础运行环境:  linux内核3.8以上。

2, hdfs集群 ,采用hadoop2.6.0以上版本:用于提供流式计算引擎工作环境

3,分布式协调中间件:采用Sokeeper,用于实现流式计算引擎主从节点的协调,以及资源管理组件的HA。

相关文章

  • sofa流计算引擎

    五: SOFA微服务生态中,微服务治理中心治理着数以千计的微服务集群,其对集群的治理策略需要根据集群服务器的实时主...

  • 大数据开发:Spark Streaming与Kafka Stre

    面对越来越多的流处理场景,流计算引擎也成为大数据学习当中的重头戏,在大厂面试当中,流计算引擎也是必问的面试题。今天...

  • Flink基本原理

    1.支持流处理的引擎:Spark和Flink Spark:基于批处理来模拟流的计算;Flink:基于流计算来模拟批...

  • 阿里重磅开源 Blink:为什么我们等了这么久?

    今年,实时流计算技术开始步入主流,各大厂都在不遗余力地试用新的流计算框架,实时流计算引擎和 API 诸如 Spar...

  • 200、Spark 2.0之Structured Streami

    流式计算 大多数的流式计算引擎(比如storm、spark streaming等)都仅仅关注流数据的计算方面:比如...

  • springboot2整合Activiti7

    【1】初识activiti 1.1. 工作流与工作流引擎 工作流工作流(workflow)就是工作流程的计算模型,...

  • Activiti教程(一)初识

    【1】初识activiti 1.1. 工作流与工作流引擎工作流工作流(workflow)就是工作流程的计算模型,将...

  • StructuredStreaming编程指南

    1、概述 结构化流是一个基于Spark SQL引擎的可扩展、容错的流处理引擎。您可以用在静态数据上表示批处理计算的...

  • Activiti工作流

    1.工作流简介 1.1工作流与工作流引擎 工作流(workflow)就是工作流程的计算模型,即将工作流程中的工作如...

  • Flink 执行引擎:流批一体的融合之路

    本文由 Apache Flink Committer 马国维分享,主要介绍 Flink 作为大数据计算引擎的流批一...

网友评论

      本文标题:sofa流计算引擎

      本文链接:https://www.haomeiwen.com/subject/rceotxtx.html