简介
官网，Flink 是分布式大数据处理引擎，可对有限水流或无限数据流做有状态或无状态对计算，能够部署在各种集群环境，对各种规模是数据进行快速的计算
flink的一些概念
- Streams: 流，分有限数据流和无限水流。
- State: 状态，是计算过程中的数据信息
- Time: 分为Event time , Ingestion time , Processing time
- API: 通常分为三层，由上而下分为 SQL/Table API ,DataStream API ,ProcessFunction。
flink 架构
- flink 具备统一的框架处理有界和无界两种数据流的能力。
- 部署灵活。底层支持多种资源调度器，包括 Yarn , Kubernetes 等，Flink 自身带的Standalone 的调度器，在部署上也十分灵活。
- 极高的可伸缩性，可伸缩性对于分布式系统十分重要
- 极致的流式处理性能。
数据处理架构演变
1.传统数据架构
传统数据架构.png
2.分析处理架构
分析数据处理.png
3.有状态流处理
有状态流处理.png
4.lambda架构
lambda架构.png
5.flink
flink.png
参考：尚硅谷Flink 教程
https://ververica.cn/developers/flink-basic-tutorial-1-basic-concept/
网友评论