所有分类
  • 所有分类
  • 实时新闻

大咖分享通过制作一个迷你版Flink来学习Flink源码

作者介绍

左元,尚硅谷高级讲师,中科院电子所硕士,精通C、Python、Javascript、Golang等开发语言,多年云计算、大数据、数据分析、分布式爬虫、前端和后端开发经验,对比特币、以太坊以及超级账本等区块链技术有源码级别的深入研究。热爱技术,尤其喜欢研究各种算法,在Web开发、分布式系统、区块链技术以及机器学习等方面有深厚的积累。

P1缘起

大咖分享通过制作一个迷你版Flink来学习Flink源码

在尚硅谷教授flink框架期间,我们计划写一本有关Flink实践的书籍,将我们在讲课过程中碰到的难点以及碰撞出的火花沉淀下来,供业界参考,方便大家快速上手Flink,以及能够实现一些复杂的需求,编写出高性能的Flink流处理程序。

在教学与教研的过程中,其实我们很少去深入研究源码,而是着重于熟练掌握Flink提供的API,以及如何在应用程序层面写出高性能的Flink程序。

为什么不去深入研究源码?

盲目去阅读源码是学习编程最低效的一种方式。

Flink的源码非常庞大,有一百多万行Java代码以及几十万行Scala代码。不带任何目的去读,非常容易迷失在源码里。

想要去理解一个框架的原理,最好的方式是自己去实现一个,也就是广为人知的造轮子。想学习操作系统,就自己实现一个小的内核;想学习编译原理,就自己实现一个小的编译器;想学习Web框,就自己实现一个小的Web框架;想研究编辑器,可以自己动手实现一个简单的文本编辑器;想学习Hadoop,就自己写一个小的MapReduce计算引擎……(以上这些轮子,在下都造过,有的还造过不止一个)

学习编程最重要的方法依然是不断去写代码!

不是看代码。碰到问题,第一时间应该是去查看官方文档,使用搜索引擎搜索,以及去StackOverflow这样的网站去提问,如果碰到实在解决不了的问题,才去阅读源码,而这个时候,也必然对Flink框架的使用已经非常熟练了,阅读源码也就有的放矢了。Torvalds Linus所说的read the fucking source code说的也就是这种情况。

Flink源码很庞大,迭代了很多年,贡献人数接近1000人,重构过很多次。所以源码里面使用了很多编程中比较高级的技术,例如:

  • 无处不在的依赖注入,这样的好处是解耦,但不好的地方就是阅读起来很困难,因为各种类的实现非常分散。当然解耦是大型项目必须要做的事情。
  • 大量使用了设计模式:工厂模式,观察者模式,还有例如访问者模式这样很少用到的设计模式(如果没有使用Java写过编译器或者解释器,基本不可能对访问者模式有比较深刻的理解,因为访问者模式最常用的场景就是遍历抽象语法树)。
  • 大量使用了一些Java的高级特性,例如Java的异步编程:Future特性、Java用来实现线程池的Executor接口、海量的匿名函数等等。
  • 底层通信大量使用了Scala编写的Akka以及Java的Netty。所以涉及到了Scala和Java的混合编程,这也是一个挑战。诸如此类就不一一列举了,如果对相关知识没有深入的理解,那么看源码本身既很难读懂,也没有多少收获。

为什么现在又要开始读Flink的源码呢?因为写书的话,必须对Flink的底层有一个深入的理解,所以就涉及到了读源码的问题。那么,接下来要解决的问题就是如何阅读源码?

P2如何阅读源码

这就说到了本文的重点——

通过制作一个迷你版的Flink来熟悉Flink的源码。

阅读源码最重要的一点就是:一定要去调试和修改源码!

这样才能真正理解源码。我的方法就是通过删除和修改Flink的源码,使得删改以后的Flink源码可以运行基本的Flink程序,例如:word count程序。

经过删改以后,我将Flink原本的100多万行代码删改到了10万行,而没有损失Flink的基本功能,也就是说核心的计算引擎并没有受到破坏。还顺便发现了一处变量的命名错误,并提交了pull request,成为了Flink的源码贡献者 :)

大咖分享通过制作一个迷你版Flink来学习Flink源码

我制作的迷你版Flink的仓库地址:

https://www.github.com/confucianzuoyuan/mini-flink

针对Flink源码,我大概做了以下修改:

  • 删除了Flink的一些库,例如flink table,flink cep等libraries。到最后删到只剩下这几个库:flink-core、 flink-runtime、flink-java、flink-streaming-java、flink-metrics、flink-optimizer。
  • 将Flink每个库的测试代码全部删除,也就是每个lib的tests文件夹。进行到现在,大概剩下30万行Java代码。接下来,真正的挑战开始了,因为这几个模块有互相依赖的关系,随便删除一个模块甚至一个文件,都会爆红一大片。
  • 将Flink核心代码库例如flink-core、flink-runtime等lib中的统计模块代码flink-metrics删除,由于metrics代码耦合在Flink源码的很多文件中,所以删除起来很麻烦,因为需要修改很多函数的签名或者类的定义等等。
  • 将flink-optimizer这个优化模块删除。
  • 将文件系统相关的代码删除,因为word count程序并没有用到文件的读写。而且文件系统相关代码也不是Flink计算引擎的核心部件。这部分工作量也很大,因为文件系统的代码也分散在了Flink源码中很多的地方。
  • 修改代码:将一些运行代码时用不到的接口实现、条件语句、异常处理等代码删去,因为这些代码在运行的时候用不到,而且在阅读源码时,使我们抓不到重点。如果将这些代码删去,在看源码时将会很清爽,也方便加注释。

举个例子:由于我在运行程序时,使用的是Intellij IDEA本地运行,所以其实使用的是MiniCluster这个迷你集群。而Flink的执行器接口是PipelineExecutor,共有好几个实现:LocalExecutor、EmbeddedExecutor、RemoteExecutor、AbstractJobClusterExecutor、AbstractSessionClusterExecutor,而由于我们只使用了LocalExecutor这一个实现,所以其余的都可以删除,这样读代码会方便很多。

  • 由于Flink的master节点会开启一个web ui,所以web ui也需要去掉,由于web ui中涉及到Flink的metrics数据的展示,以及耦合在其他的一些代码里,在删除的时候颇费了一些周折。
  • 逐一阅读各个模块,找出没有用到的代码,然后移除。
  • 很重要的一点:使用Git来管理项目,每删改一些代码,就进行commit操作,这样在改了代码以后,如果程序跑不通,可以回滚到之前可以跑通的代码!

经过以上一系列步骤,可以将Flink源码删改至10万行左右,迷你Flink就诞生了。

P3收获了什么

其实收获非常多,比如成了源码贡献者,哈哈,当然这个并不重要。

这里要强调一点:提高写程序能力的唯一方法就是不断的写代码,不断的写没写过的代码,不断的写不熟悉的代码!

收获大概有以下这些:

  • 在删改Flink源码的过程中,由于需要保证word count程序能跑通,所以碰到的报错信息都必须要修复掉。在修复的过程中,逼迫我去认真阅读代码,从而搞懂了Flink的整个执行流程。这就是我之前所说的为什么阅读源码要去运行它、修改它的原因,只有这样,才能把源码彻底搞清楚。
  • 看到了Java高手是如何写代码的。其实我之前并没有阅读过大型的Java项目代码,所以很多Java开发才使用到的技术并没有特别关注。之前读过大型的代码库大概是像C语言、Python、JavaScript、Golang,还有一些比较冷门的语言如OCaml、Rust之类的。这次阅读Flink代码,确实学到了不少Java开发相对高级一些的技术。例如,Java的设计模式具体是如何使用的。如何使用各种设计模式将大型项目解耦,可以说各种设计模式,对于Java而言是不得不用的技术,对于这一点,我有了更深的体会。
  • 其他语言例如Python的协程,JavaScript的Promise这些异步编程方式在Java中是如何使用的,具体来讲就是Java的Future这一特性,在Flink中得到了大量的使用,有关并发的操作基本都是由Future这一特性来实现的。
  • Flink源码中大量使用了泛型,虽然Java的泛型比Scala、Haskell、Ocaml等有所欠缺,但Java本着实用主义的态度,设计出来的泛型也能达到很好的使用效果。
  • Flink底层通信依赖Scala编写的Akka这一著名的Actor模式的并发库(来源于Erlang),由于之前并没有Akka的使用经验,因此借此机会好好的学习了一下Actor模式的并发是如何实现的,以及在Java中如何去使用Scala编写的库,或者说如何进行Java和Scala的混合编程。
  • 最重要的一点就是发现Flink中蕴含了很多优秀的设计思想,可以说是集很多年来分布式系统领域发展的大成,基本是流处理框架的巅峰之作。
  • 还有很多很多小的收获,例如学到使用Java如何实现元组,Either这样的在函数式编程语言(Scala、Haskell、OCaml)中才有的数据结构,如何正确的使用Executor管理线程池……

我在发现一个微小的拼写错误并提交修复以后,代码很快就得到了合并。说明Flink社区非常有活力,发展速度非常快,未来大有可期,非常值得认真学习并使用。


往期文章推荐:

用flink能替代spark的批处理功能吗

Flink进阶之使用布隆过滤器实现UV统计

Flink进阶之使用CEP实现恶意登陆检测

Flink进阶之滑动窗口统计实时热门商品

Flink进阶之使用ProcessFunction实现订单超时检测

原文链接:https://www.w1ym.com/82537/,转载请注明出处~~~
0

评论0

请先

站点公告

【温馨提示】 本站不建议您对本站支付任何费用或开通任何会员本站99%资源为免费资源只提供共享不提供技术支持,本站资源主要以学习开发为主,本站是为个人资源记录学习研究等情况而建立,如特殊原因下载,需在24小时删除相关资源。本站资源均来自互联网收集或网友分享,若有侵权,请联系站长删除,谢谢。立即查看
显示验证码
没有账号?注册  忘记密码?