日志收集器 源码

产品开发背景 LogCollector是基于应用日志流的一套ETL工具和服务组件。现有的ETL工具Flume也可以完成日志的采集,传输,转换和存储,但是Flume工具仅能应用到通信质量无障碍的替代环境,在公网环境下可能因网络异常等因素导致连接较长的服务的发送器组件失败,而此时收集器组件可能并不知情,数据仍然会继续传送到通道组件,这容易导致通道组件内存占用从而引发OOM错误;导致由于通道错误导致实时收集的数据发送失败,收集器也没有记录实时检查点,这意味着发送失败的数据将丢失。发生所有这些问题的根源在于公网传递数据的在这种问题背景下,需求驱动下产生了LogCollector这种产品,LogCollector完全按照产品级标准使用JAVA语言进行开发,安装时无需再安装外置JDK支持,解压开箱即用。 产品功能特性 LogCollector是基于应用日志流的一套ETL工具和服务组件,同时适用于云域内