微信|就因为微信误删了几行字 公众号文章能被别家搜到了?( 二 )


后来法院经过多方调查取证,认为 ebay 网站上内容属于私有财产,它用 robots 协议保护私有财产是合理的 。最后认定 BE 侵权 。想必大家能看出来,法院判定结果并不是单纯看有没有违背robots 协议,最主要还得看这个 robots 协议合不合理 。
微信|就因为微信误删了几行字 公众号文章能被别家搜到了?
文章图片
同样,还有个例子也证明了这点 。大部分人都知道 3Q 大战,但可能没听过 360 和百度的“ 3B 大战 ” 。
【微信|就因为微信误删了几行字 公众号文章能被别家搜到了?】2012 年 8 月 360 搜索刚上线,它抓取了百度旗下的内容( 百度知道,贴吧 )并以快照的形式提供给用户 。但是,百度的 robots 协议写明了只有部分搜索引擎可以抓取,当中没包括 360 搜索 。也就是说 360 违背了百度 robots 协议 。
图源百度百科 ▼
微信|就因为微信误删了几行字 公众号文章能被别家搜到了?
文章图片
后来百度想了一个法子,只要在 360 搜索中搜到百度相关网站,点击后就会跳转到百度搜索引擎网站 。再到后来他们闹上了法庭 。
这件事去年才算正式结案,判决书大概有一万多字吧,可把世超看了好一会 。不管是 360 把百度快照提供给用户,还是百度的跳转措施,这些操作法院都进行了相应的判决,但是跟我们文章没太大关系 。世超只在这里说下:对于 360 搜索违背百度 robots 协议的抓取行为,是怎么判定的 。首先 360 在 2012 年 8 月违背 robots 协议是有不合理在先,但是同年 11 月发布了《 自律条约 》 。
条约可是规定了 robots 协议限制搜索引擎得有正当理由:比如为了保护敏感信息、公众利益或者维持网站正常运行 。但百度限制 360 搜索抓取的内容,既不是重要敏感信息,被抓取了也不会让百度不能运行了或者损害了公共利益 。。
微信|就因为微信误删了几行字 公众号文章能被别家搜到了?
文章图片
这就可以判定百度没有正当理由拒绝 360 抓取, 360 的抓取行为也并非不正当竞争行为 。
微信|就因为微信误删了几行字 公众号文章能被别家搜到了?
文章图片
所以啊,不是写了 robots 协议就一定在理,你这个协议首先得合理才行 。但关键是,这个合理的界限有时候不是很好定 。。比如现在不少互联网公司用 robots 协议阻止搜索引擎收录,限制了信息分享 。你说他们是在合理设置 robots 也没错,毕竟是为了保护自己的数据权益 。但这是不是和互联网的初衷背道而驰了呢 。。
就拿世超自己经历来讲 。之前写个反诈骗的文章,百度查了大半天资料不够,差点放弃 。后来在微信里搜,才在一家公众号文章上找到相关资料 。最后要找视频作为动图素材,我又跑去短视频平台 。。要知道曾几何时,我们明明可以很轻易的查询到信息,现在因为各大网站的 robots 协议变成了如此困难 。。
更讽刺的是, robots 协议原本做出来只是为了提高爬虫效率,更好地促进信息流动的 。。这是不是有点变味了 。。


推荐阅读