江苏龙网

  1. 首页 > 资讯 > 科技 > >

数据|陈根：从爬虫技术到爬虫行为，网络爬虫的罪与非罪


北京联盟_本文原题：陈根：从爬虫技术到爬虫行为 ， 网络爬虫的罪与非罪
文/陈根
数字经济时代 ， 数据作为一种新的生产要素 ， 在预判市场走向、调控交易行为、影响各主体权利义务等方面发挥着重要作用 。 市场参与者特别是互联网企业 ， 通过收集、存储、挖掘、加密、交易等一系列行为 ， 充分发挥数据作为生产性资源的经济价值 ， 更有企业直接将数据视为一种资产 。
与传统财产性资产不同 ， 线上数据不具备明显的有体性 ， 而以无形、可共享及可传输为主要特点 ， 这也就导致了商业竞争向新的方向发展 ， 并以争夺数据占有状态为主要形式 。 其中 ， 除直接通过用户采集数据之外 ， 另一大数据来源就是使用网络爬虫采集公开信息 。
但也正因为互联网和大数据产业的迅速发展 ， 使得定向抓取网页资源的网络爬虫产业发展迅猛 。 在吸引大量商业公司和个人从事其中的同时 ， 大数据也带来诸多安全风险 。 因此 ， 如何有效引导网络爬虫已经成为现实性问题 。
数据|陈根：从爬虫技术到爬虫行为，网络爬虫的罪与非罪
本文插图

从爬虫技术到爬虫行为
网络爬虫也被称为网页蜘蛛或者网络机器人等 ， 是指能够根据自身规则抓取信息的程序 。 作为搜索引擎的基础构件之一 ， 网络爬虫直接面向互联网 ， 是搜索引擎的数据来源 ， 决定着整个系统的内容是否丰富、信息能否得到及时更新 。 网络爬虫的性能表现直接影响整个搜索引擎的效果 。
网络爬虫平时会在网络上自动爬取有用的数据 ， 通过一定的选取机制、过滤机制、录用机制等 ， 来丰富它们的数据库 。 事实上 ， 每个搜索引擎的爬虫机器人都不一样 ， 它们有着自己的一套“爬取机制” 。 谁把这个机制优化得最好 ， 那么谁就能更快给到用户真正想要的信息 。 比如 ， 百度的爬虫机器人叫做百度蜘蛛（ Baiduspider ） ， 360的爬虫叫做360 Spider， 搜狗的叫做 SogouSpider ...基于不同的程序爬取算法 ， 它们也拥有不一样的搜索结果 。
网络爬虫系统运行时 ， 会自动选择一个较大网站的统一资源定位符即网页地址作为集合 ， 在系统中把种子集合作为初始资源的地址 。 抓取数据时 ， 在已经存在的网页资源地址的基础上得到新的网页资源地址 ， 相当于把种子网页地址对应的网页作为森林中一棵树的根节点 。
系统运行过程中 ， 把种子URL加入到下载队列 ， 并从队首取出一个网页地址下载对应的网页 ， 之后储存内容数据 ， 利用解析器处理信息并得到新的网页地址 ， 把新的网页地址加入到下载列队 ， 反复执行上述操作 ， 直到满足所需条件 ， 循环工作结束 。
网络爬虫可以简单分为通用网络爬虫、聚焦网络爬虫和增量式网络爬虫 。
通用网络爬虫可从种子网页地址不断扩展到整个万维网 。 通用网络爬虫的作用是为用户站点搜索引擎时采集数据 。 爬行范围和数量非常大 ， 不需按照特定的爬行页面顺序 ， 但新的页面刷新时间较长 。
聚焦网络爬虫是选择性爬行 ， 优先爬行预先设定的相关的网页 ， 且只爬行与主题相关的页面 ， 能够有效节省硬件和网络资源 ， 满足特定人群对特定信息的需求 。 聚焦网络爬虫相关爬行策略有以下几方面 。 第一 ， 基于内容评价的爬行策略 。 把用户搜索查询时的查询词作为主题 ， 爬行页面与这一主题相关 。 第二 ， 基于连接结构评价的策略 。 其主要涉及两种算法 ， 一种是PageRank算法 ， 可对计算值比较大的页面进行连接访问；另一种是HITS方法 ， 通过计算每个已经访问的页面决定访问顺序 。 第三 ， 增强学习的爬行策略 。 根据网页文本和链接文本分类超链接 ， 通过链接的重要性决定访问顺序 。
增量式网络爬虫则在对应下载网页的基础上进行更新 ， 即在新产生和发生变化的网页中 ， 保证的其爬行页面为最新页面 。 增量式网络爬虫可以在很大程度上减少数据下载量 ， 及时更新网页 ， 避免空间和时间上的浪费 。


推荐阅读


上一篇：和讯名家|在线音频行业新“主播战”打响，创作者与平台进入“双生”成长期

下一篇：微软|微软：Windows 10 20H2更新过程将“非常快”