应用性能管理系统 APM (Application Performance Management）与网络性能管理系统 NPM（Network Performance Management）都属于ITOA（IT Operation Analytics）备案域名服务器日志分析工具。APM 监控特定软件系统的性能和可用性，传统的 APM 通过在代码嵌入代理获取代理数据（Agent Data），或通过探针数据（Probe Data），监控和检测异常来分析应用程序的性能；NPM 通过网络通信数据（Wire Data）监控系统性能。如前面所述，这些数据来源各有利弊。日志的价值在于它们无处不在：应用程序，操作系统，数据库，甚至硬件都生成日志。日志分析产品不需要在这些系统嵌入插件，只需要采集这些系统的日志就能做分析，非常方便。APM 或 NPM 系统也需要依赖日志分析获得更全面的系统信息，日志分析平台可作为 APM 或 NPM 系统的补充，提供更全面、准确的应用性能监控及网络性能监控。目前主流的海量日志分析工具：开源的有ELK，收费的：国外的有Splunk、Sumologic。国内有日志易等。服务器日志分析工具，日志分析产品日志易与开源系统ELK相比，有什么优势回答在部署状态页面点击查看日志，将会打开日志页面，下个图就是日志的输出页面。简约时尚小清新的日志页面出来了，是不是很想一个terminal，有没有觉得俺弄的页面很漂亮。哈哈哈哈，写不好前端的运维不是好DBA。刚开始拿到这个需求，咋觉得很难。因为在服务器上我们看一个日志，经常会tail -f 看着刷屏的感觉倍爽。如何在web页面上实现tailf的效果呢？后来想想这样实现是可行的。前端写一个js定时器，不断的发ajax请求到后台，每回取出一段日志。后台取日志可以直接调用系统命令，或者直接调取shell脚本，取日志，判断日志文件是否存在，是否为空，返回数据的起始位置等，都可以交给shell来做。事实上我就是这么干的。后台程序写一堆shell命令调用有点别扭。想到解决方案之后，实现的过程就比较简单了。我的开发环境是基于python的Django框架来做的，现在就展示这个功能的实现过程。Django部分点击查看日志的链接之后会调到views里的ajxGetLog方法，该方法需要两个参数，项目id和主机id，这两个参数主要是用来确定日志文件的位置。该方法返回行号。execcommand是封装的一个subprocess.Popen的一个工具函数，返回一个列表分别是标准输出，错误输出和shell returncodedef ajxGetLog(request,pid,hid):project = Project.objects.get(pk=pid)host = Host.objects.get(pk=hid)scriptname = ‘%s%s’%(base_path,’get_log.sh’)res = execcommand([‘sh’,scriptname,host.hostname,project.servicename])#如果错误输出不为空，直接返回错误输出if not res[1]:try:#res[0]为行号，如果大于20行，从当前行的上面20行开始输出，为了用户体验，你懂得if int(res[0]) > 20:line = int(res[0]) – 20if int(res[0]) == 0:line = 1return render(request,’logs.html’,{‘pid':pid,’hid':hid,’line':line})except Exception,e:print ereturn (e)else:return (res[1])html部分首席写一个ajax请求，传递到后台取日志内容的方法，传递三个参数项目id，主机id，和行号，后台将会返回对应行号的日志内容。该方法代码如下：def ajxGetLogHandle(request,pid,hid,line):project = Project.objects.get(pk=pid)host = Host.objects.get(pk=hid)scriptname = ‘%s%s’%(base_path,’get_log.sh’)res = execcommand([‘sh’,scriptname,host.hostname,project.servicename,line])if not res[1] and res[0].strip():return (res[0])else:return (500)
本文出自快速备案，转载时请注明出处及相应链接。