-
-
Flink on Yarn运行模式之详细解析
独立部署(Standalone)模式由Flink自身提供计算资源,无需其他框架提供资源,这种方式降低了和其他第三方资源框架的耦合性,独立性非常强。但是我们也要知道,Flink主要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,所以还是和其他专业的资源调度框架集成更靠谱,所以接下...
03月05日[精选文章]浏览:15
-
-
用docker运行flink集群
问题有时候想在本地用flink运行一些程序,每次自己部署flink还挺麻烦的。好在flink官方已经打好了docker镜像,只要拿过来运行就好了。...
03月05日[精选文章]浏览:13
-
FlinkSQL处理复杂JSON的思路
导读:在日常开发中常有这么一个场景,采集如日志等数据后以JSON形式存储到Kafka中,再由Flink从Kafka中获取数据并进行处理。但是有时候JSON比较复杂(多层嵌套),在FlinkSQL中解析起来比较麻烦,下面将讨论Flink SQL(1.10版本) 如何解析复杂JSON。...
03月05日[精选文章]浏览:13
-
大数据专家详解,Flink事件时间水印和迟到数据处理,Flink Time
前言之前的文章中已经屡次提到过Flink的事件时间(event time)、水印(watermark)、乱序(out-of-order)、迟到数据(late element)这些概念,虽然它们都非常基础,但笔者还没有对它们做过像样的介绍,感觉不太合适。正好今天脑子比较累,又是Friday night...
03月05日[精选文章]浏览:13
-
-
-
-