一、概述
有时候我们的日志(例如CDN日志)不在阿里云,但是想要导入到阿里云的日志服务SLS中进行分析。
这时候我们优先想到的是把日志文件传入阿里云的ECS服务器上(入带宽是免费的),然后在用ilogtail工具导入,但是我们发现这个过程还有坑,这里记录一下。
二、ilogtail不能用来导入历史数据
这是我们遇到的第一个问题,尽管我们配置好了ilogtail,但是发现没有数据消费,也没有任何报错,日志服务SLS中就是没有日志。
经过咨询阿里的客服,才知道,ilogtail只会对,配置完以后,新写入的数据有效,以前写入的日志不会收集。
好吧,那我使用touch命令对文件进行更新下?
结果,确实有数据进来了,但是,这数量级明显对不上,只能再次咨询客服。
三、历史日志文件的导入方式
阿里客服一听就明白了,甩过来一个链接。
https://help.aliyun.com/document_detail/71414.html
好吧,原来早就考虑到这个问题了。
需要在ilogtail目录下放置一个文件local_event.json,内容如下
[
{
"config" : "##1.0##ipcpuslblog$volc",
"dir" : "/data/logs/cdn",
"name" : "myaccess.log"
}
]
这里面的config字段,需要填写Logtail配置的唯一标识,可以下面命令获取
grep "##" /usr/local/ilogtail/user_log_config.json | awk '{print $1}'
好了,导入速度还挺快,这下有数据了。
转载请注明:IPCPU-网络之路 » 外部日志(CDN日志)导入到阿里云日志服务SLS中