包
org.apache.nifi | nifi-standard-nar

描述

执行提供的SQL查询语句。查询结果将被转换为记录写入器指定的格式。它使用流处理，因此支持任意大小的结果集。该处理器可以使用标准调度方法，通过定时器或cron表达式进行调度，也可以由传入的FlowFile触发。如果由传入的FlowFile触发，那么在评估查询语句时，该FlowFile的属性将可用，并且查询可以使用“?”来转义参数。在这种情况下，所使用的参数必须作为FlowFile属性存在，命名约定为sql.args.N.type和sql.args.N.value，其中N是正整数。sql.args.N.type预期为表示JDBC类型的数字。FlowFile的内容预期为UTF-8格式。FlowFile属性“executesql.row.count”表示所选的行数。

标签

数据库、jdbc、查询、记录、选择、sql

输入要求

允许

支持敏感动态属性

是

属性

数据库连接池服务

用于获取数据库连接的控制器服务。

• 显示名称：数据库连接池服务
• 描述：用于获取数据库连接的控制器服务
• API名称：数据库连接池服务
• 服务接口：org.apache.nifi.dbcp.DBCPService
• 服务实现：org.apache.nifi.dbcp.DBCPConnectionPool、org.apache.nifi.dbcp.DBCPConnectionPoolLookup、org.apache.nifi.dbcp.HikariCPConnectionPool
• 表达式语言作用域：不支持
• 敏感：否
• 必需：是

默认小数精度

当DECIMAL/NUMBER值被写为“decimal” Avro逻辑类型时，需要一个特定的“精度”来表示可用的数字位数。通常，精度由列数据类型定义或数据库引擎默认值定义。然而，一些数据库引擎可能返回未定义的精度（0）。在写入这些未定义精度的数字时，将使用“默认小数精度”。

• 显示名称：默认小数精度
• 描述：当DECIMAL/NUMBER值被写为“decimal” Avro逻辑类型时，需要一个特定的“精度”来表示可用的数字位数。通常，精度由列数据类型定义或数据库引擎默认值定义。然而，一些数据库引擎可能返回未定义的精度（0）。在写入这些未定义精度的数字时，将使用“默认小数精度”。
• API名称：dbfdefault-precision
• 默认值：10
• 表达式语言作用域：环境变量和FlowFile属性
• 敏感：否
• 必需：是

默认小数位数

当DECIMAL/NUMBER值被写为“decimal” Avro逻辑类型时，需要一个特定的“小数位数”来表示可用的小数位数。通常，小数位数由列数据类型定义或数据库引擎默认值定义。然而，当返回未定义的精度（0）时，一些数据库引擎的小数位数也可能不确定。在写入这些未定义的数字时，将使用“默认小数位数”。如果一个值的小数位数比指定的小数位数多，那么该值将被向上舍入，例如，当小数位数为0时，1.53变为2；当小数位数为1时，1.53变为1.5。

• 显示名称：默认小数位数
• 描述：当DECIMAL/NUMBER值被写为“decimal” Avro逻辑类型时，需要一个特定的“小数位数”来表示可用的小数位数。通常，小数位数由列数据类型定义或数据库引擎默认值定义。然而，当返回未定义的精度（0）时，一些数据库引擎的小数位数也可能不确定。在写入这些未定义的数字时，将使用“默认小数位数”。如果一个值的小数位数比指定的小数位数多，那么该值将被向上舍入，例如，当小数位数为0时，1.53变为2；当小数位数为1时，1.53变为1.5。
• API名称：dbf-default-scale
• 默认值：0
• 表达式语言作用域：环境变量和FlowFile属性
• 敏感：否
• 必需：是

使用Avro逻辑类型

是否对DECIMAL/NUMBER、DATE、TIME和TIMESTAMP列使用Avro逻辑类型。如果禁用，将写为字符串。如果启用，将使用逻辑类型并写为其基础类型，具体来说，DECIMAL/NUMBER作为逻辑“decimal”：写为带有额外精度和小数位数元数据的字节；DATE作为逻辑“date-millis”：写为表示自Unix纪元（1970-01-01）以来的天数的整数；TIME作为逻辑“time-millis”：写为表示自Unix纪元以来的毫秒数的整数；TIMESTAMP作为逻辑“timestamp-millis”：写为表示自Unix纪元以来的毫秒数的长整数。如果读取写入的Avro记录的读取器也知道这些逻辑类型，那么根据读取器的实现，这些值可以在更多上下文信息下进行反序列化。

• 显示名称：使用Avro逻辑类型
• 描述：是否对DECIMAL/NUMBER、DATE、TIME和TIMESTAMP列使用Avro逻辑类型。如果禁用，将写为字符串。如果启用，将使用逻辑类型并写为其基础类型，具体来说，DECIMAL/NUMBER作为逻辑“decimal”：写为带有额外精度和小数位数元数据的字节；DATE作为逻辑“date-millis”：写为表示自Unix纪元（1970-01-01）以来的天数的整数；TIME作为逻辑“time-millis”：写为表示自Unix纪元以来的毫秒数的整数；TIMESTAMP作为逻辑“timestamp-millis”：写为表示自Unix纪元以来的毫秒数的长整数。如果读取写入的Avro记录的读取器也知道这些逻辑类型，那么根据读取器的实现，这些值可以在更多上下文信息下进行反序列化。
• API名称：dbf-user-logicaltypes
• 默认值：false
• 允许值：true、false
• 表达式语言作用域：不支持
• 敏感：否
• 必需：是

设置自动提交

启用或禁用数据库连接的自动提交功能。默认值为“true”。大多数JDBC驱动程序都可以使用默认值，并且在大多数情况下，此功能没有影响，因为该处理器用于读取数据。然而，对于一些JDBC驱动程序，如PostgreSQL驱动程序，需要禁用自动提交功能，以限制每次获取的结果行数。启用自动提交时，PostgreSQL驱动程序会一次性将整个结果集加载到内存中。在执行获取大量数据集的查询时，这可能会导致大量内存使用。有关PostgreSQL驱动程序中此行为的更多详细信息，请访问
https://jdbc.postgresql.org//documentation/head/query.html。

• 显示名称：设置自动提交
• 描述：启用或禁用数据库连接的自动提交功能。默认值为“true”。大多数JDBC驱动程序都可以使用默认值，并且在大多数情况下，此功能没有影响，因为该处理器用于读取数据。然而，对于一些JDBC驱动程序，如PostgreSQL驱动程序，需要禁用自动提交功能，以限制每次获取的结果行数。启用自动提交时，PostgreSQL驱动程序会一次性将整个结果集加载到内存中。在执行获取大量数据集的查询时，这可能会导致大量内存使用。有关PostgreSQL驱动程序中此行为的更多详细信息，请访问https://jdbc.postgresql.org//documentation/head/query.html。
• API名称：esql-autocommit
• 默认值：true
• 允许值：true、false
• 表达式语言作用域：不支持
• 敏感：否
• 必需：是

提取大小

每次从结果集中提取的结果行数。这是对数据库驱动程序的一个提示，可能不会被严格遵守和/或不一定准确。如果指定的值为零，则忽略该提示。

• 显示名称：提取大小
• 描述：每次从结果集中提取的结果行数。这是对数据库驱动程序的一个提示，可能不会被严格遵守和/或不一定准确。如果指定的值为零，则忽略该提示。
• API名称：esql-fetch-size
• 默认值：0
• 表达式语言作用域：环境变量和FlowFile属性
• 敏感：否
• 必需：是

每个FlowFile的最大行数

单个FlowFile中包含的最大结果行数。这将允许你将非常大的结果集分解为多个FlowFile。如果指定的值为零，则所有行将在单个FlowFile中返回。

• 显示名称：每个FlowFile的最大行数
• 描述：单个FlowFile中包含的最大结果行数。这将允许你将非常大的结果集分解为多个FlowFile。如果指定的值为零，则所有行将在单个FlowFile中返回。
• API名称：esql-max-rows
• 默认值：0
• 表达式语言作用域：环境变量和FlowFile属性
• 敏感：否
• 必需：是

输出批次大小

在提交处理会话之前排队的输出FlowFile数量。设置为零时，在处理完所有结果集行且输出FlowFile准备好传输到下游关系时，将提交会话。对于大型结果集，这可能会导致在处理器执行结束时大量FlowFile突然传输。如果设置了此属性，那么当指定数量的FlowFile准备好传输时，将提交会话，从而将FlowFile释放到下游关系。注意：设置此属性时，FlowFile上不会设置fragment.count属性。

• 显示名称：输出批次大小
• 描述：在提交处理会话之前排队的输出FlowFile数量。设置为零时，在处理完所有结果集行且输出FlowFile准备好传输到下游关系时，将提交会话。对于大型结果集，这可能会导致在处理器执行结束时大量FlowFile突然传输。如果设置了此属性，那么当指定数量的FlowFile准备好传输时，将提交会话，从而将FlowFile释放到下游关系。注意：设置此属性时，FlowFile上不会设置fragment.count属性。
• API名称：esql-output-batch-size
• 默认值：0
• 表达式语言作用域：环境变量和FlowFile属性
• 敏感：否
• 必需：是

规范化表/列名

是否更改列名中的字符。例如，冒号和句点将更改为下划线。

• 显示名称：规范化表/列名
• 描述：是否更改列名中的字符。例如，冒号和句点将更改为下划线。
• API名称：esqlrecordnormalize
• 默认值：false
• 允许值：true、false
• 表达式语言作用域：不支持
• 敏感：否
• 必需：是

记录写入器

指定用于将结果写入FlowFile的控制器服务。记录写入器可以使用“继承模式”来模拟推断模式行为，即写入器中无需显式定义模式，将通过用于从列类型推断模式的相同逻辑来提供模式。

• 显示名称：记录写入器
• 描述：指定用于将结果写入FlowFile的控制器服务。记录写入器可以使用“继承模式”来模拟推断模式行为，即写入器中无需显式定义模式，将通过用于从列类型推断模式的相同逻辑来提供模式。
• API名称：esqlrecord-record-writer
• 服务接口：org.apache.nifi.serialization.RecordSetWriterFactoryService
• 服务实现：org.apache.nifi.avro.AvroRecordSetWriter、org.apache.nifi.csv.CSVRecordSetWriter、org.apache.nifi.text.FreeFormTextRecordSetWriter、org.apache.nifi.json.JsonRecordSetWriter、org.apache.nifi.lookup.RecordSetWriterLookup、org.apache.nifi.record.script.ScriptedRecordSetWriter、org.apache.nifi.xml.XMLRecordSetWriter
• 表达式语言作用域：不支持
• 敏感：否
• 必需：是

最大等待时间

运行的SQL查询允许的最长时间，零表示没有限制。小于1秒的最大时间将被视为零。

• 显示名称：最大等待时间
• 描述：运行的SQL查询允许的最长时间，零表示没有限制。小于1秒的最大时间将被视为零。
• API名称：Max Wait Time
• 默认值：0秒
• 表达式语言作用域：环境变量和FlowFile属性
• 敏感：否
• 必需：是

SQL查询语句

要执行的SQL查询语句。该查询可以为空、为常量值，也可以使用表达式语言从属性构建。如果指定了此属性，无论传入的FlowFile内容如何，都将使用该属性。如果此属性为空，则期望传入的FlowFile内容包含有效的SQL查询语句，由处理器发送到数据库。请注意，FlowFile内容中的表达式语言不会被评估。

• 显示名称：SQL查询语句
• 描述：要执行的SQL查询语句。该查询可以为空、为常量值，也可以使用表达式语言从属性构建。如果指定了此属性，无论传入的FlowFile内容如何，都将使用该属性。如果此属性为空，则期望传入的FlowFile内容包含有效的SQL查询语句，由处理器发送到数据库。请注意，FlowFile内容中的表达式语言不会被评估。
• API名称：SQL查询语句
• 表达式语言作用域：环境变量和FlowFile属性
• 敏感：否
• 必需：否

SQL查询后语句

主SQL查询执行后执行的以分号分隔的查询列表。例如，在主查询后设置会话属性。可以通过使用反斜杠（';'）转义在语句中包含分号。如果没有错误，这些查询的结果/输出将被抑制。

• 显示名称：SQL查询后语句
• 描述：主SQL查询执行后执行的以分号分隔的查询列表。例如，在主查询后设置会话属性。可以通过使用反斜杠（';'）转义在语句中包含分号。如果没有错误，这些查询的结果/输出将被抑制。
• API名称：sql-post-query
• 表达式语言作用域：环境变量和FlowFile属性
• 敏感：否
• 必需：否

SQL查询前语句

在主SQL查询执行之前执行的以分号分隔的查询列表。例如，在主查询前设置会话属性。可以通过使用反斜杠（';'）转义在语句中包含分号。如果没有错误，这些查询的结果/输出将被抑制。

• 显示名称：SQL查询前语句
• 描述：在主SQL查询执行之前执行的以分号分隔的查询列表。例如，在主查询前设置会话属性。可以通过使用反斜杠（';'）转义在语句中包含分号。如果没有错误，这些查询的结果/输出将被抑制。
• API名称：sql-pre-query
• 表达式语言作用域：环境变量和FlowFile属性
• 敏感：否
• 必需：否

动态属性

sql.args.N.type

传入的FlowFile预期为参数化的SQL语句。每个参数的类型指定为表示参数的JDBC类型的整数。接受以下类型：[LONGNVARCHAR: -16]、[BIT: -7]、[BOOLEAN: 16]、[TINYINT: -6]、[BIGINT: -5]、[LONGVARBINARY: -4]、[VARBINARY: -3]、[BINARY: -2]、[LONGVARCHAR: -1]、[CHAR: 1]、[NUMERIC: 2]、[DECIMAL: 3]、[INTEGER: 4]、[SMALLINT: 5]、[FLOAT: 6]、[REAL: 7]、[DOUBLE: 8]、[VARCHAR: 12]、[DATE: 91]、[TIME: 92]、[TIMESTAMP: 93]、[VARCHAR: 12]、[CLOB: 2005]、[NCLOB: 2011]

• 名称：sql.args.N.type
• 描述：传入的FlowFile预期为参数化的SQL语句。每个参数的类型指定为表示参数的JDBC类型的整数。接受以下类型：[LONGNVARCHAR: -16]、[BIT: -7]、[BOOLEAN: 16]、[TINYINT: -6]、[BIGINT: -5]、[LONGVARBINARY: -4]、[VARBINARY: -3]、[BINARY: -2]、[LONGVARCHAR: -1]、[CHAR: 1]、[NUMERIC: 2]、[DECIMAL: 3]、[INTEGER: 4]、[SMALLINT: 5]、[FLOAT: 6]、[REAL: 7]、[DOUBLE: 8]、[VARCHAR: 12]、[DATE: 91]、[TIME: 92]、[TIMESTAMP: 93]、[VARCHAR: 12]、[CLOB: 2005]、[NCLOB: 2011]
• 值：要提供的SQL类型参数
• 表达式语言作用域：无

sql.args.N.value

传入的FlowFile预期为参数化的SQL语句。参数的值指定为sql.args.1.value、sql.args.2.value、sql.args.3.value等。sql.args.1.value参数的类型由sql.args.1.type属性指定。

• 名称：sql.args.N.value
• 描述：传入的FlowFile预期为参数化的SQL语句。参数的值指定为sql.args.1.value、sql.args.2.value、sql.args.3.value等。sql.args