Apache Nifi 的使用

Nifi 作为一个数据流处理引擎，在我这边的工作中扮演了一个极其重要的角色。

因为很多时候，处理 同步数据， 删除 hdfs上的历史分区数据，管理数据库的分区，查看job的运行任务，都作为一个很好的助手，最重要的是，它免费，不花钱，而且有用，哈哈。

我这边先给大家 介绍 Nifi 如何 管理数据库的分区表的事情。

相信大家都知道 oracle的分区表，是需要有分区，数据写入的时候才会正常，而一般dba对表的分区建立都是一年一次，帮你们建立一年的分区，等过年期间，dba会再次统计分区表 和 建立分区。

而我在公司中作为 每天和大数据打交道的人，自己分析后的数据，通过spark运行后，也会写入oracle中，而针对一些明细的数据，会保留近3个月的数据。

那么问题来了，将近上亿的数据，为了查询没有压力，我这边的考虑是：

1---建立分区表

2---建立索引

3---定期删除历史分区 和 建立未来的分区。

先给大家看下我配置的nifi的图片吧，毕竟现在流行有图有真相。

下一篇章，我为大家讲解，如何配置 分区表自动化管理。

配置的核心就是：

1:生成对应表的分区sql语句

2:一共是两句，一是删除分区，二是建立分区

3:删除分区的时候判断此时的分区是否是最小的分区

4:添加分区的时候判断此时的分区是否已经存在。

5:执行sql语句。