Python爬虫--通用爬虫和聚焦爬虫( 二 )

  • 通用搜索引擎大多提供基于关键字的检索 , 难以支持根据语义信息提出的查询 , 无法准确理解用户的具体需求 。
  • 针对这些情况 , 聚焦爬虫技术得以广泛使用 。
    聚焦爬虫聚焦爬虫 , 是"面向特定主题需求"的一种网络爬虫程序 , 它与通用搜索引擎爬虫的区别在于: 聚焦爬虫在实施网页抓取时会对内容进行处理筛选 , 尽量保证只抓取与需求相关的网页信息 。




    推荐阅读