爬虫入门必学——常见的几种网站类型 _爬虫

在学习爬虫前，我们需要先掌握网站类型，才能根据网站类型，使用适用的方法来编写爬虫获取数据。
今天小编就以国内知名的ForeSpider爬虫软件能够采集的网站类型为例，来为大家盘点一下数据采集常见的几种网站类型。
l常见网站类型
1.js页面
JAVAScript是一种属于网络的脚本语言,被广泛用于Web应用开发,常用来为网页添加各式各样的动态功能,为用户提供更流畅美观的浏览效果。通常JavaScript脚本是通过嵌入在html中来实现自身的功能的。
ForeSpider数据抓取工具可自动解析JS ，采集基于js页面中的数据，即可采集页面中包含JS的数据。

文章插图

Ajax即异步的JavaScript和XML ，它不是一门编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。
我们浏览网页的时候，经常会遇到这样的情况，浏览某页面时，往后拉页面，页面链接并没有变化，但是网页中却多了新内容，这就是通过Ajax获取新数据并呈现出来的过程。

文章插图

ForeSpider数据采集系统支持Ajax技术,可采集Ajax网页中的内容。
2.post/get请求
在html语言中，有两种方式给服务器发送表单（你在网页中填写的一些数据）。一种是POST一种是GET 。POST把表单打包后隐藏在后台发送给服务器；GET把表单打包发送前，附加到URL（网址）的后面。

文章插图

文章插图

ForeSpider采集器可采集数据在post/get请求中的网页内容，即采集post/get请求中的数据。
3.需要Cookie的网站
Cookie指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据。Cookie基于 Internet的各种服务系统应运而生，是由 Web 服务器保存在用户浏览器上的小文本文件，它可以包含有关用户的信息，是用户获取、交流、传递信息的主要场所之一，无论何时用户链接到服务器， Web 站点都可以访问 Cookie 信息。

文章插图

一般用户的账号信息记录在cookie中，爬虫爬取数据的时候，可以使用cookie模拟登录状态，从而获取到数据。
ForeSpider数据采集分析引擎可设置cookie来模拟登陆，从而采集需要用到cookie的网站内容。

文章插图

4. 采集需要OAuth认证的网页数据
OAUTH协议为用户资源的授权提供了一个安全的、开放而又简易的标准。同时，任何第三方都可以使用OAUTH认证服务，任何服务提供商都可以实现自身的OAUTH认证服务，因而OAUTH是开放的。
业界提供了OAUTH的多种实现如php、Java Script ， Java ， Ruby等各种语言开发包，大大节约了程序员的时间，因而OAUTH是简易的。互联网很多服务如Open API ，很多大公司如google ， Yahoo ， Microsoft等都提供了OAUTH认证服务，这些都足以说明OAUTH标准逐渐成为开放资源授权的标准。
ForeSpider爬虫软件支持OAuth认证，可以采集需要OAuth认证的页面中的数据。