数据接入代理介绍
主动模式
主动模式是指采集集成框架自身定期对需要采集或集成数据进行采集,主动模式包括:ICMPD、SNMPD、RPING方式等。主动模式数据集成如图所示。
主动模式支持设定多个采集集成域,一个域中的采集集成探针分为两个角色,分别为leader toe和worker toe[1]。
Leader toe
负责从ETCD上读取采集集成配置,将任务通过队列分发给worker toe。
Worker toe
领取到任务后,对被采集集成设备或系统请求数据,并将结果发送给解析器的队列,解析器从队列中读取处理后入库。支持worker toe根据采集集成数据压力进行弹性的增加和减少。
被动模式
被动模式是指采集集成框架自身启动监控程序,由被采集或集成设备或系统发送数据到监控的地址和端口,从而被动接收数据的方式,被动模式包括:Kafka、Syslogd、Trapd、目录文件监控等。被动模式数据集成如图所示。
Toe部署在Server端
由被采集集成设备或系统将文件传送到该Server端Toe服务器,Server端Toe将监控文件或者通过监听服务的方式,将数据传送到解析器的队列,解析器从队列中读取处理后入库。
Toe部署在被采集设备上
监听该设备或系统的目录文件变化,或者通过监听服务方式收集数据,并将数据传送到解析器的队列,解析器从队列中读取处理后入库。
[1] leader toe和worker toe:M³Meta大数据平台产品中两个数据采集点概念。