服务器日志分析工具，一般用哪些工具做大数据分析

感谢邀请，大数据分析是指对规模巨大的数据进行分析。大数据可以概括为5个V， 数据量大(Volume)域名备案域名备案服务器日志分析工具、速度快(Velocity)、类型多(Variety)、价值(Value)、真实性(Veracity)。服务器日志分析工具，一般用哪些工具做大数据分析随着大数据时代的来临，大数据分析也应运而生，下面几款工具还是比较值得推荐的。一、HadoopHadoop是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。二、HPCCHPCC，High Performance Computing and Communications（高性能计算与通信）的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。三、Storm Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。 Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC（远过程调用协议，一种通过网络从远程计算机程序上请求服务）、 ETL（Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载）等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。希望对您有用，谢谢！通过分析网站日志Log文件可以看到用户和搜索引擎访问网站的数据，这些数据可以分析出用户和搜索引擎对网站的喜好以及网站的情况。网站日志分析主要是分析蜘蛛爬虫的爬行轨迹。蜘蛛爬虫抓取和收录的过程中，搜索引擎会给特定权重网站分配相应的资源量。一个符合搜索引擎友好性的网站应该充分的利用这些资源，可以让蜘蛛爬虫快速、准确、全面的抓取有价值、用户又喜欢的内容，而不是浪费资源，访问没有价值的内容上。接下来就详细的了解一下，网站日志如何分析吧！1、访问次数、停留时间、抓取量从这三项数据中可以知道平均每次抓取页面的数量、单页抓取停留时间和平均每次停留的时间。从这些数据可以看出蜘蛛爬虫的活跃度、亲和程度、抓取深度等等，总访问的次数、停留时间、抓取量、平均抓取页面、平均停留时间越长，就说明网站越受搜索引擎喜欢。而单页抓取停留时间表明网站页面访问速度，时间越长，网站访问速度越慢，越不利于搜索引擎的抓取，应该尽量提高网站页面加载速度，减少单页抓取停留时间，这样可以让搜索引擎收录更多页面。另外，根据数据也可以统计出一段时间内网站运营的整体趋势，例如，蜘蛛访问次数趋势、停留时间趋势、抓取趋势。2、目录抓取统计通过分析网站日志可以了解到网站哪些目录蜘蛛爬虫比较喜欢，抓取目录的深度、重要页面目录抓取情况、无效页面目录抓取情况等等。通过对比目录下页面的抓取以及收录情况可以发现更多问题。对于重要目录，需要通过内外调整增加权重以及抓取率，对于无效页面，可以在robots.txt中进行屏蔽。另外，通过网站日志可以看到网站目录的效果、优化的是否合理，是否达到预期效果。于同一目录，以长期时间段来看，我们可以看到该目录下页面表现，根据行为推测表现的原因等。3、页面抓取在网站日志分析中，可以看到搜索引擎抓取的具体页面。在这些页面中，可以分析出哪些页面是不被抓取的，哪些页面是没有价值的，还有就是抓取了哪些重复的URL等等，必须充分的利用资源，将这些地址添加到robots.txt中。另外还可以分析未收录页面的原因，对于新文章，是因为没有被抓取而未收录，还是抓取了没有放出来。4、蜘蛛访问IP通过蜘蛛IP是否能判断出网站降权情况，答案是不能的。网站降权主要从前三项数据来判断，，如果想用IP来判断，那是不可能的。5、访问状态码蜘蛛经常出现301、404状态码，如果返回状态码是304，那么网站就是没有更新的，出现这些状态码的时候，一定要及时处理，要不然会对网站造成不好的影响。6、抓取时间段通过分析对比搜索引擎的抓取量，可以了解搜索引擎在特定的时间的活跃度。通过对比周数据，可以了解到搜索引擎的活跃周期，这样对于网站更新内容有着重要意义。7、搜索引擎抓取路径在网站日志中，可以跟踪到特定IP的访问路径，跟踪特定的搜索引擎的访问路径能够发现对网站抓取路径的喜好。所以，可以引导搜索引擎来进入抓取路径中，这样可以让搜索引擎抓取更重要，更有价值的内容。