Logtail 混合模式:使用插件处理文件日志

  • 时间:
  • 浏览:1
  • 来源:神彩IOS下载_彩神IOS下载官方

在 API/SDK 的依据下,大伙 必须根据所选模式(JSON、分隔符等)来对二次切分的插件进行配置。而在控制台上使用混合模式时,页面愿因分析根据所选的模式,自动地生成相应的默认配置,大伙 只必须配置针对单条日志的避免即可。通过 显示/隐藏默认配置,大伙 还还可以查看插件配置的全部内容。

在完成文本模式的整理配置创建后,大伙 还还可以通过 API/SDK 的依据再加构建好的插件避免配置。此处,大伙 借助 CLI 来实现你是什么 过程,代码如下:

还还可以看一遍,多条单行日志被一次性输入到插件避免中,也不,大伙 必须配置一个多针对单行日志的切分插件,即先前列表中最后的 processor_split_log_string。对于单行日志,还还可以直接复用如下配置:

以下示例在极简模式下使用 processor_add_fields 插件为每条日志增加一个多固定的字段。从两张截图的区别还还可以发现,页面在默认配置中自动地填充了 processor_split_log_string 来实现按行二次切分。

假设大伙 所整理的是单行文本日志,原始日志内容如下:

相比之下,混合模式则是牺牲一定的性能和计算资源来换取灵活性,以应对更为繁复的场景。如上图所示,在混合模式下,Logtail 会将日志切分的结果直接提交给插件进行避免,在后者中,大伙 还还可以组合多种避免插件,来满足大伙 的需求。

选折 你必须修改的配置所属的 project_nameconfig_name,把插件避免配置保存到任意文件(比如 plugin_config.json)后,调用脚本传入你是什么 一个多参数即可。

以下是当前所支持的避免插件,关于具体插件怎样使用可参考文档避免整理数据。

作为一个多服务百万机器的日志整理 agent,Logtail 目前愿因分析提供了包括日志切分、日志解析(全部正则、JSON、分隔符)、日志过滤在内的常见避免功能,都都还还可以应对绝大多数场景的避免需求。但一点完后 ,愿因分析应用的历史愿因或是你是什么 业务日志的繁复性,单一功能愿因分析无法满足所整理日志的避免需求,比如:

为了方便分析,大伙 希望将日志的内容提取成如下的字段:

该日志由 时间多组键值对JSON 对象 三部分组成,分别使用 空格制表符 进行分隔,其中多组键值对部分使用 _'_ 分隔键值对,>-> 分隔键和值。

从先前的介绍中还还可以看出,混合模式的整理配置实质上是文本模式的整理配置附再加额外的插件避免配置,也不,配置它的入口依旧是创建文本模式的整理配置:愿因分析是单行日志,创建 极简模式 的整理配置,愿因分析是多行日志,创建 全部正则模式 的整理配置,并切换至多行模式,设置行首正则表达式。

插件避免配置使用 JSON 对象进行表示,配置的 key 为 processors,value 是 JSON 对象的数组,数组内的每一个多 JSON 对象表示一个多避免插件的配置,避免时将按照数组内的定义顺序依次执行。数组内的每个 JSON 对象蕴藏一个多字段:typedetailtype 表示避免插件的类型(JSON string),detail 表示该插件的全部参数(JSON 对象,key 为参数名,value 为参数值)。

假设单行日志的内容是 2019-09-23 14:08:16.952 [INFO] hello world,则 Logtail 提交给插件部分的数据内容愿因分析是:

如上是大伙 所创建的混合模式整理配置中的插件避免配置部分,由 4 个避免插件组成:

如上图上方部分所示,纯 Logtail 的核心避免部分由日志切分(Splitter)和日志解析(Parser)组成,根据选折 的日志整理模式,日志切分把读取的文件内容切割成为每根条日志(比如单行基于换行符、多行基于行首正则),也不交由日志解析从单条日志中提取字段。由此可见,日志的整理模式固定了避免行为,比如全部正则模式要求日志必须全部符合设置的正则表达式,也不会报错。你是什么 基于整理模式的固定行为,拥有更好的性能,但牺牲了灵活性。

如上示例表示使用一个多 processor_regex 插件进行日志避免,第一个多插件根据配置的 Regex 参数对日志中的 content 字段进行正则提取,结果为 Keys 参数指定的一个多字段,而第六个插件对上一步提取得到的 main_msg 字段再次进行正则提取,得到更多的字段。

注意:此配置仅在混合模式下必须,愿因分析使用的纯自定义插件的整理配置,还还可以忽略。

从整体来看,Logtail 的整理模式还还可以划分为以下你是什么 :

参考此配置时必须根据实际情形调整行首正则表达式(SplitRegex)。

前文的说明中一个多提到,出于性能考虑,Logtail 提交给插件部分的数据之所以单条日志,也不日志的组合,必须在插件避免配置的随后开始英语 英语 英语 增加特定插件进行二次切分。

类式地,多行日志在提交给插件部分时也必须使用 processor_split_log_regex 进行基于行首正则的切分,配置如下(假设日志开头为常见的 [] 快递快递包裹时间):

为此,Logtail 引入了 混合模式,一方面借助 Logtail 完善的事件机制来保证数据读取阶段的可靠性,一点人面,依赖于插件系统丰厚的插件,来加强 Logtail 对繁复日志的避免能力。

在 SLS 控制台上,大伙 还还可以通过 高级选项-启用插件避免 来启用混合模式。

总的来说,切分时所必须考虑的情形有单行日志和多行日志你是什么 ,以下将分别介绍。

猜你喜欢

有个朋友老是不停的向我抱怨,整天负能量,你说她她还在别人面前说你毛病多,不理她各种找你

追答为你推荐:使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。下载百度知道APP,抢鲜体验对这名负能量多的人,敬而远之吧。她就是找你,我想要 是有事说

2020-01-27

我和我男朋友分手了,过了十天左右,我手机关机一天,第二天早上发现他加我微信了,我接受了,我发了个句

为你推荐:本回答由提问者推荐追答追问这男的跟我差越来很多,就算分开了他也想关心你的状况与否生活愉快!着实分开了假如有一天我的她昨天还说她要回老家分手她提的不接电话也是她现在我还

2020-01-27

我和男朋友吵架,他是急性格,我第一次说分手,他同意了,意思是什么

 我来答当然,男的全是责任,明知道女生是开玩笑的还要真的同意连哄全是哄。想想当我们都 为哪几个要谈恋爱,不而是我互相喜欢吗,有哪几个大不了的不能分手为你推荐:吵架就能说分手

2020-01-27

游客hx6xpgysvpkrw的主页

发布时间:2018-10-2216:13:51参与人数:66发布时间:2019-03-5015:23:54参与人数:135“人工智能之后镜子里的那个颜色搭配非常漂亮的设计灵感来

2020-01-27

我喜欢的一个女孩子她和我说她有男朋友了?我该怎么办!

我想循序渐进,女人不都喜欢女人不的宠爱,建议你在日常生活中多许多关心和体贴她,给她无微不至的照顾,让她享受着你对她的温柔。不断的关心她、体贴她、保护她。总之要不断的对她好,而且

2020-01-27