文件接入

被集成系统将数据以CSV、JSON方式定期保存到被集成系统的约定目录，由平台提供程序实时监测目录下文件的变化，将增量数据读取，通过规则处理后，保存入平台。

# interface_perf
[InterfacePerfDataInput]

type = "LogstreamerInput"
# 监听的文件目录
log_directory = "/opt/tools/interface_perf"
# 匹配的文件，支持正则匹配，也可以是具体文件名称：file_match = 'nodes2_1.out'
file_match = 'dump_(?P<FileName>[^/]+).txt'
# 指定记录分割表示 split_n为回车换行，支持自定义
splitter = "split_n"
# 指定区分检测文件的变量（此变量在file_match中定义
# 例如：'dump_(?P<FileName>[^/]+).txt'中的FileName）
differentiator = ["FileName"]
# 指作为读取优先检测文件的变量
priority = ["FileName"]

[InterfacePerfDataOutput]
type = "NatsOutput"
is_streaming = true
subject = "demo.rules.interface_perf"
reconnect = true
message_matcher = "Logger == 'InterfacePerfDataInput'"
encoder = "PayloadEncoder"
use_buffering = false
use_protocol = true

自定义分隔符

[report_splitter]
type  =  "RegexSplitter"
delimiter  =  '\n(\d+)'
delimiter_eol  =  false

[!NOTE]

配置文件支持存放在ETCD上，也支持存放在操作系统的文件系统里