什么是Robots协议？Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。对于数以百万计的中小网站和广大站长而言，Robots协议是著作权最好的保护屏障。网站内容著作权会因为Robots协议的失效而被肆意践踏，最终会造成原创内容被大量抓取抄袭，无人再投入创新，整个互联网陷入死循环。当然，“Robots协议”不是法规、不是标准，也不是合约，理论上不存在违反与不违反的问题。事件回放：2012年8月，360搜索上线时在还未获得百度允许的情况下，违反通行规则Robots协议内容，强制对“百度知道”、“百度百科”等百度网站内容进行了抓取，并且复制快照储存于服务器中。百度公司认为，奇虎360的行为严重侵害了百度的合法权益，构成了不正当竞争。对于360违反Robots协议的行为，某专家比喻：“互联网网站页面，如同广阔农村中的一个菜园，各有其主。一般而言，访客进去逛逛无可厚非，但是如果主人在边界立下界碑：未经允许不得入内，这就意味着主人的意愿成为外界是否获准入园参观的标准。Robots协议就是这样一块界碑，它虽然不具法律效应，但是人们都普遍遵循。”现状：百度公司表示，其拥有百度知道、百度贴吧、百度百科等栏目，栏目均设置了“Robots协议”(就搜索引擎抓取网站内容的范围作出约定)。百度利用“Robots协议”禁止“360搜索”抓取信息。但“360搜索”仍非法抓取百度网站页面并生成“快照”复制件，存储于自身服务器中。之后百度公司采取技术措施：如果用户点击“360搜索”结果中的百度页面链接，将强制跳转到百度首页。但之后“360搜索”跳过技术措施，在网民点击涉及百度网站内容的标题时，直接提供服务器上的“网页快照”，替代百度向网民提供服务。百度公司认为，奇虎公司违背国际通行的行业规则，严重损害其合法权益，为此起诉要求奇虎公司立即停止侵权，在新浪、搜狐及其官网首页显著位置连续30天刊登书面声明消除影响，并赔偿经济损失1亿元。奇虎公司认为，百度公司是在滥用“Robots协议”，设置歧视性条款以达到限制正当竞争的目的，要求法院驳回全部诉讼请求。“Robots协议”本质是用来指导搜索引擎更好地抓取网站内容的，不是作为企业之间互相限制和不正当竞争的工具。此外，百度图片、音乐、地图等垂直类搜索也不能成为版权法的保护客体，百度公司对百度百科等内容不享有著作权，这些信息的著作权属于上传网友。搜索这些页面不但不侵犯百度权益，实际上还为百度带来了大量的用户和流量。 事情的真相如何，请关注下期”走进科学“栏目。
本文出自快速备案，转载时请注明出处及相应链接。