Flink实时大数据处理技术 课件第1--3章 Apache Flink概述、 Scala语言、 环境搭建和应用部署.pdf

Flink实时大数据处理技术

第—章ApacheFlink概述

教学内容

一节Flink是什么

·第

二节Flink层次架构

·第

·第节

三大数据处理架构的发展

·第四节Flink应用场

·节

第五生态系统和社区

·第六节Flink与其他大数据框架的关系

教学目标

·知识目标

1.了解ApacheFlink核心概念

2.了解ApacheFlink关键特性及发展历程

·技能目标

1.无

·毕业要求

1．工程知识

ApacheFlink概述－知识点预览

下3难点重点

＃＿知识点

1、Flink的起涌✓

2、Flink的发展过程和主要版本✓

1C01-01Flink是什么3、Flink的定义✓

✓

4、编程语言的选择

Flink的起源

□ApacheFlink最早由德国柏林工业大学的研究团队千2010年开始开发，最初名为StratoSphere,

该团队致力千开发一种高性能、灵活的分布式数据处理框架，以便能够在大规模数据处理和复杂数据

分析方面取得突破性进展。

DStratosphere项目的早期阶段，研究团队关注千设计一个可扩展且易于使用的分布式数据处理引擎。

后期开发了一个基千PACT模型的分布式运行时系统Nephele。

D随着项目的发展，研究团队将重点放在了实时数据流处理上，Nephele之上构建了DataStream

API，以便用户可以构建复杂的流处理应用程序。

D随着时间的推移，Stratosphere项目在开发和推广过程种获得了广泛的认可和用户支持。2014年6月，

该项目被捐赠给Apache软件基金会，正式成为了ASF(ApacheSoftwareFoundation)的顶级

项目，被命名为ApacheFlink。

Flink的发展过程和主要版本

DApacheFlink1.0.0(2016)：这是Flink的第一个重要里程碑版本。

DApacheFlink1.2.0(2017)：此版本引入了对事件时间(EventTime)处理的改进，提供了更加强大的窗口

函数支持，并改进了操作状态(OperatorState)的实现。

DApacheFlink1.5.0(2018)：此版本主要关注在大规模部署场景下的性能优化和稳定性改进。

DApacheFlink1.9.0(2019)：此版本提供了对TableAPI和SQLAPI的大量改进。

DApacheFlink1.12.0(2020)：此版本继续扩展了对SQL和TableAPI的支持。

DApacheFlink1.13.0(2021)：这个版本进一步增强了对SQL和TableAPI的支持，包括对SQLCU的改进、对

DDL