Phantomjs多线程占用太多cpu咋办
【Phantomjs多线程占用太多cpu咋办 】 可以这样处理,phantomjs可以做成一个服务,爬取一定数量url后,kill掉phantomjs 进程,自动重启它。
■网友
谢邀,phantomjs开多线程我觉得本身就是一个不太可行的方案。主要看你的phantomjs用来干嘛,如果是当爬虫用,那么可以利用phantomjs开启一个或多个webserver(根据机器性能)。具体可以参考:https://thief.one/tags/Phantomjs/我之前用过phantomjs,希望能给你一些帮助。
■网友
怎说,我当时写商标网爬虫的时候,也是开了多台gecodriver的进程,但是我用Python监控了cpu的资源管理,占用率太高了我就kill掉一部分的进程,如果是进程本身就死掉当然会kill并且有重启机制。当然最后稳定下来确定了每台机器开几个进程利用率很高。
■网友
给设置一下SLEEP吧,你线程调度管理做得不好,你可以考虑用线程池,信号量的概念做,就不 用反复开启了
推荐阅读
- 邻接表的占用空间为啥是m+n? 为啥鉴别所有edge是Θ(m+n)? 求大神指教
- 能否因为带宽占用问题起诉腾讯
- 北京将推新机制:占用消防通道车辆,自付拖车费!
- 家长|学位占用情况不容忽视!赶紧查!2021年六年一学位或将扩区
- 多线程编程中join这个单词为啥有等待结束的意思
- 怎样理解servlet单例引起的线程安全问题
- 使用无锁队列还是线程同步锁?
- 如果人的大脑改为四核八线程方式运作会发生啥
- C++获取win下cpu温度,cpu占用率,内存占用率
- 用httpclient 请求https,多线程使用的是单例的httpclient,用PoolingClientConnectionManager作为连接池