大数据引擎 Apache Flink和Apache Spark发展前景分别怎样？

对于Flink和Spark发展前景对比，我们可以了解大数据包含哪些技术。

依次从基础到高阶技术：Hadoop、Hive、Kafka、HBase、Kylin、Doris、Cilckhouse、Druid、Elasticsearch、Presto、Airflow、Beam、Spark、Flink、CDH、HDP

我在工作中对Flink和Spark选择的思考：

什么时候选择Spark=>Spark实时计算，在处理瞬间高并发数据量时，在100s的批处理窗口时，会有数据堆积，在实时的性能上有一定的问题，但是，Spark在数据迭代计算和算法上中有很大优势，有较为完整的算法库，如果对实时性要求不高，选择Spark

什么时候选择Flink=>Flink设计之初即为一个流式处理模型，在对实时性要求较高的场景，Flink对比Spark，Flink窗口计算针对实时计算中的窗口计算也比较好用，如果对实时性要求高的场景，选择Flink

什么是大数据？

指传统数据处理应用软件不足以处理的大或复杂的数据集的术语。大数据也可以定义为来自各种来源的大量非结构化或结构化数据。

Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）

大数据如何入门？

至少需要掌握一门编程语言，计算机专业的同学大多学的第一门编程语言是C语言，然后再学Python语言，对于零基础的同学，可直接学习Python语言，紧接着继续学习MySQL数据库和Hadoop、Hive这些，通过实战一个项目上手！

学习路线图：

什么是大数据计算引擎?

从处理的时间来看，我们可以把大数据计算引擎划分为离线计算、实时计算两类，离线计算一般是T+1的延迟，实时计算一般是秒级或毫秒级的延迟；

从处理的数据量来看，我们可以把大数据引擎划分为流式计算、批量计算两类，流式计算是一次来一条处理一条，批量计算则是一次来多条处理多条；

MapReduce、Spark属于离线计算、批量计算引擎，Storm、Sparkstreaming、Flink属于实时计算、流式与批量并存的计算引擎。

Flink是什么

Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。

Spark是什么

Apache Spark是一个开源分布式计算框架，最初是由加州大学柏克莱分校AMPLab研究所开发。

相对于Hadoop的MapReduce会在执行完工作后将中介资料存放到磁盘中，Spark使用了存储器内运算技术，能在资料尚未写入硬盘时即在存储器内分析运算。

Spark在存储器内执行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍，即便是执行程序于硬盘时，Spark也能快上10倍速度。Spark允许用户将资料加载至内存，并多次对其进行查询，非常适合用于机器学习算法。

使用Spark需要搭配集群和分布式存储系统。Spark支持独立模式本地模式，不过通常只用于开发或测试时以本机文件系统取代分布式存储系统。

Flink和Spark这两款开源软件的发展前景

Spark:

Spark的特色在于它首先为大数据应用提供了一个统一的平台。

从数据处理层面看，模型可以分为批处理、交互式、流处理等多种方式；而从大数据平台而言，已有成熟的Hadoop、Cassandra、Mesos以及其他云的供应商。

Spark整合了主要的数据处理模型，并能够很好地与现在主流的大数据平台集成。目前开始应用Spark的企业主要集中在互联网领域。

Flink:

Flink也是基于内存进行计算，流式计算延迟比spark少，能做到真正的流式计算大数据引擎，而spark只能是准流式计算。

而且在批处理上，当迭代次数变多，flink的速度比spark还要快，所以如果flink早一点出来，或许比现在的Spark更火。

Flink比Spark好的点：

流处理更强，市面上最好的流式计算框架。

Stream 近似 Batch没有硬伤（相反mini batch近似Stream会搞乱batch里的顺序）。相当于自带lambda架构。

Flink不足的地方：

用户群没有Spark多，stackoverflow上能找到的Solution少。

Documentation还在完善中，尤其scala部分。

Spark更成熟，Flink生态圈还在完整中，比spark在大数据领域支持的其他组件集成更少。

（编辑：淮北站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!