Phantomjs多线程占用太多cpu咋办

【Phantomjs多线程占用太多cpu咋办 】 可以这样处理,phantomjs可以做成一个服务,爬取一定数量url后,kill掉phantomjs 进程,自动重启它。

■网友
谢邀,phantomjs开多线程我觉得本身就是一个不太可行的方案。主要看你的phantomjs用来干嘛,如果是当爬虫用,那么可以利用phantomjs开启一个或多个webserver(根据机器性能)。具体可以参考:https://thief.one/tags/Phantomjs/我之前用过phantomjs,希望能给你一些帮助。
■网友
怎说,我当时写商标网爬虫的时候,也是开了多台gecodriver的进程,但是我用Python监控了cpu的资源管理,占用率太高了我就kill掉一部分的进程,如果是进程本身就死掉当然会kill并且有重启机制。当然最后稳定下来确定了每台机器开几个进程利用率很高。
■网友
给设置一下SLEEP吧,你线程调度管理做得不好,你可以考虑用线程池,信号量的概念做,就不 用反复开启了


    推荐阅读