告别告警风暴：AIOps工具Keep智能运维实战落地详解
每天会有几百条告警数据涌进监控平台里面, 然后去切工具、翻日志、建工单一套操作下来, 起步就是要花上半小时时间的, 现在用Keep这款开源的AIOps平台去做的话, 可以把整个流程的时间压缩到十分钟以内的。
告警噪音是运维最大的坑
传统的监控系统在处理异常的时候, 会把每一个异常情况都转换成一条条告警信息, 这就导致有几百条告警数据全部堆积在一起, 运维人员完全没法分清哪一条告警会影响业务运营。
而AIOps是使用算法来进行关联分析并给告警信息进行严重程度排序的机制, 它能把那些由于同一个根本原因而产生的多个告警合并成一条, 同时把优先级比较低的告警信息自动折叠起来, 这样让运维人员只需要去关注那真正要紧的几条告警就可以了。
我们团队接入了Keep这个系统以后, 前端在有一个版本回滚操作的时候, 触发了10条页面崩溃的这种告警。然后Keep系统就会自动地把这些告警合并成单独的一条评论。并且在这条告警里去标注出受到影响的用户有500多人这么个情况。
同时呢还指出了版本号是v2.3.0。要是有人想要看全部的日志信息, 直接点进去就可以看了。这样做的结果就是不用再一个一个地去翻阅日志了。排查问题的这种效率至少都能够提升五成的那么多。
重复操作交给自动化
在收到告警通知之后, 工作人员需要手工把日志进行复制, 然后去建立一个工作单, 再拉一个群来进行通知, 这种操作一天里面要重复十几次的样子, 完全就是在做一些纯体力的劳动。
而Keep工作流这个工具是支持通过YAML格式来配置的, 同时也支持可视化的编辑方式, 工作人员可以设定当有告警被触发的时候自动去建立Jira工单, 然后再通过Slack发送通知给负责人, 在这个过程中全程都不需要去碰鼠标。
还可以增加条件分支的设置功能, 比如在告警消息的来源确实是指向支付服务的时候, 系统就会去额外地通知一下财务相关的团队人员, 另外如果故障或者问题是自动在十分钟之内的时间内恢复了话, 那么工单就直接被关闭, 根本不需要再经由人工去进行确认操作, 整条的处理流程可以通过用YAML来进行书写, 也可以是通过像拖拽一样的UI界面来组建完成, 即便是完全不熟悉代码编写工作的运维岗位工作人员也能够进行配置工作来说这样的话, 基本上就是没有什么学习上的难度。
一个界面看全所有工具
在Keep这个体系里面, 它把超过90种工具的双向集成都支持了。所以Zabbix的数据、Prometheus的数据、Jira的数据、Slack的数据, 全部都是完全打通的。在和Jira去做集成的时候, 情况是这样的。
当Keep产生告警被触发之后, 系统会自动创建工单。然后在Jira那边, 如果把工单标记为已解决, 那么Keep里面的告警状态也会同步更新。因此数据之间不会互相冲突或者是打架。
以前在查某一个工单所对应的告警来源的时候, 人员需要在监控系统、工单系统以及聊天工具这好几个窗口之间进行切换, 并且来来回回翻阅四次到五次的信息。
现在通过Keep这一看板功能, 能把告警信息、日志数据、工单状态和通知消息全都展示在同一区域内。因为不需要再频繁地切换平台去查看信息了, 所以整体响应时间的处理效率得到了优化, 时长被直接砍掉了一半左右。
装Keep只需三条命令
最省事的办法是采用Docker一条命令的方式来把服务拉起来, 这种做法非常适合中小规模的团队以及作为测试环境使用。
在我们公司人员数量从10人扩展到200人的过程中, 系统将Keep从单机架构迁移到了K8s集群环境中, 在这个过程中只修改了一组YAML配置信息, 没有涉及任何业务逻辑代码的调整, 使得后期的扩展和维护过程都显得非常轻松简易。
如果你需要二次开发, 就去拉取GitHub上面的源代码, 因为Apache 2.0协议允许你随便修改。我们团队当时对接一款小众监控工具的时候, 花了两天时间写了一个插件就把功能上线了。要是换成商业工具的话, 必须得等厂商排期, 而且还得另外掏钱。
三个工具接入实战
先把Slack里面那个Webhook的地址填一填, 好让告警信息自动推到群组里去, 然后把Prometheus里面的远程写入URL去配置好, 这样监控指标就能同步过来了, 再把Jira里的API Token填进去, 让工单能够直接被创建出来, 这三个工具每个都只需要五分钟的时间就能配好, 从头到尾都不用写一行代码。
我们一家有三十人的创业公司使用K8s来部署应用, 监控环节用的是Zabbix加上Prometheus, 工单流程走的是Jira, 日常沟通依靠Slack。在接入Keep之后, Slack里收到了告警通知, 点击链接就可以直接跳转到详情页面, 不需要再切换五个不同的系统, 响应速度明显变得更快了。
中小团队为什么选Keep
当前市面上的AIOps工具大多属于闭源的商业软件, 它们的订阅费用很高, 而且配置过程复杂, 导致小团队根本承担不起这样的成本。
相比之下, Keep是完全开源且免费的工具, 在GitHub平台上获得了超过9200个星标, 其Slack社区拥有700多名成员, 用户提出问题后在几小时内就能得到回复, 这种技术支撑方式比商业工具要灵活许多。
现在Keep这款软件, 还可以把大模型接入进去, 用来做智能分析。在企业版车型成功上线以后, 我们成功把告警处理的时间, 从原来的30分钟, 硬压到了10分钟。
这样对于夜间突发的异常情况, 我们就不必再熬夜苦熬去排查了。建议大家不妨先从Docker环境里, 安装一个试试水。接着接上Slack这个工具, 跑上一整天。你实际使用下来, 体感上的巨大差距, 马上就会显现出来。
你的团队每天必须消化多少条告警的信息? 有没有尝试过将各种工具全部进行连接和整合的功能处理? 欢迎你在评论区进行讨论和分享具体的交流内容, 如果你觉得这些建议具有实际用处, 可以进行点赞操作并且将其转发给你所在的运维部门的同事人员。