Power Query 腾讯位置数据获取

腾讯基于用户的位置信息的大数据 , 显示某一位置的人数:
Power Query 腾讯位置数据获取文章插图
越亮的地方人数越多 , 这个就是腾讯的星云图 。
网站分析getXingyunPoints这一行就是位置数据 , 数据三个一组 , 前两个是经纬度*100 , 后一个是人数 。
Power Query 腾讯位置数据获取文章插图
【Power Query 腾讯位置数据获取】一共有4组数据 , 使用POST方式传递数据 , 数据包4.8M 。
Power Query 腾讯位置数据获取文章插图
头文件 , 中我们要注意框住的几个部分:
url、POST、Content-Type、Cookie、Uesr-Agent、Request Payload
这六个数据是Post方式重要的参数

  • url:网址必须的参数
  • POST:数据传递方式
  • Content-Type:传递内容的类型约定
  • Cookie:使用的cookie
  • Uesr-Agent:使用的浏览器
  • Request Payload:请求参数
为了方便使用 , 我们可以直接用参数管理器来管理这些参数:
Power Query 腾讯位置数据获取文章插图
实际上有4个查询 , content对应4个查询参数 , content就是c0 , 然后c1、c2、c3
区别就是rank后面的数值是0、1、2、3
如果是很多个参数 , 我们就想办法统一调用方法 , 数量少又图省事 , 就直接引用就行 。
定义函数POST方式 , 也有能够直接试抓成功的 , 但是这个不行 , 网址中没有任何参数传递直接试抓就是这样的结果:
Power Query 腾讯位置数据获取文章插图
所以我们要定义好函数 , 然后抓取 。
Power Query 腾讯位置数据获取文章插图
通过网站分析 , 我们发现唯一的变量是需要传递的参数 , 所以就用这个作为函数的参数 。 这里的参数c就对应着我们定义好的参数c0、c1、c2、c3 。
这个函数是抓取函数 , 抓取之后我们还有进行整理 , 我们再把整理过程定义一个函数 , 这样就可以出结果了:
Power Query 腾讯位置数据获取文章插图
我用的是和昨天一样的编号透视的方法 , 应该还有效率更高的办法 。
试抓我们测试一下:
Power Query 腾讯位置数据获取文章插图
运行良好 , 我们要引用4次 , 得到4个表 , 然后追加合并成为一个表就可以了 。
抓取通过参数调用4次:
Power Query 腾讯位置数据获取文章插图
我们直接输入的参数名称会被当做文本 , 要自己去掉引号:
Power Query 腾讯位置数据获取文章插图
追加合并为新查询:
Power Query 腾讯位置数据获取文章插图
加载数据就可以了 , 这个数据量有点大 , 需要点时间 。
Power Query 腾讯位置数据获取文章插图


    推荐阅读