分布式爬虫管理平台Crawlab开发搭建 _分布式爬虫管理

分布式爬虫管理平台Crawlab发现挺不错，但是官方文档中涉及二次开发的环境启动章节比较模糊。
最先需要的是克隆代码
https://github.com/nickliqian/crawlab前端部署
1、安装node（网上node下载即可）
2、安装基本依赖
cmd窗口使用administrator用户运行执行：
npm install --global --production windows-build-toolsnpm install -g node-gypnpm install -g yarn npm install node-sass3、编译代码
这里的构建是指前端构建。在构建之前，我们需要配置一下前端的部署环境变量。
打开 ./frontend/.env.production，内容如下。
NODE_ENV='production' VUE_App_BASE_URL=/api VUE_APP_CRAWLAB_BASE_URL=https://api.crawlab.cn VUE_APP_DOC_URL=http://docs.crawlab.cn cd C:Users2230Desktopcrawlab-masterfrontendyarn install启动：
npm run serve#启动npm run build:dev#开发环境构建npm run build:prod#生产环境构建4、验证结果
访问页面：http://localhost:8080/#/login

文章插图

附：编译遇到的一些问题

gyp verb `which` failed Error: not found: Python2

https://blog.csdn.net/qq_34527715/article/details/103376851
这个问题可以忽略直接执行如下命令，可以自动安装python2软件。
npm install -global -production windows-build-tools

C:WindowsMicrosoft.NETFrameworkv4.0.30319msbuild.exe` failed with exit code: 1

https://blog.csdn.net/xf1195718067/article/details/78598599
管理员身份运行cmd
npm install -global -production windows-build-tools
后端编译
1、基本软件安装

下载go 1.12+ 版本( https://studygolang.com/dl )

设置go到环境变量PATH中

下载redis

https://github.com/MicrosoftArchive/redis/releaseshttps://pan.baidu.com/s/17NYqI-UTAsynmRpHklX4Ig 提取码：nh5p

下载MongoDB

http://dl.mongodb.org/dl/win32/x86_64启动（可以在PATH中设置MongoDB的bin目录）

mongod.exe   --dbpath=C:Users2230Desktopcrawlabmongodb-win32-x86_64-2012plus-4.2.7db  --logpath=C:Users2230Desktopcrawlabmongodb-win32-x86_64-2012plus-4.2.7mongod.log

2、修改配置
主要修改redis和MongoDB的服务器地址（根据具体情况修改）：
C:Users2230Desktopcrawlab-masterconfconfig.yaml3、编译代码
设置一下 Go Module 的代理，将环境变量 GOPROXY 设置为 https://goproxy.cn 。如果是 linux 或 mac，可以执行如下命令：
export GOPROXY=https://goproxy.cn windows系统启动cmd，执行如下：
set GOPROXY=https://goproxy.cn 开始编译代码执行如下命令：
cd C:Users2230Desktopcrawlab-masterbackend go install在执行go install时会出现如下错误，可能window系统不支持这些类库，先直接注释