高并发 I/O 远程抽取数据技术方案怎样选型
每次任务三千多个远程数据库连接这句话听起来实在是太可疑了。Stackless 基本已经被放弃,开发力量后来都集中于 PyPy,但 PyPy 未必是最好的选择。Twisted 算是一个相当久经考验的非阻塞 I/O 框架;另外可选的是 Gevent,最近刚刚过 1.0,编程模型比 Twisted 简单;另外如果需要复杂的多进程早做,还有一个专门为了简化 Gevent 中多进程处理的 Gipc 库( gipc: child processes and IPC for gevent )。但还是觉得这个更像是实现逻辑或实现细节的问题。
■网友
一,3个任务之间有没有耦合,没有耦合就并发执行,如果有耦合考虑顺序执行二,每个任务产生了1000次数据库连接,我可以理解为你这个任务需要1000个步骤(真的需要这么多么?可以合并么?)这1000个步骤有依赖关系么?(可以并发执行么?)最悲观的情况3个任务耦合,有顺序。每个步骤都必须串行。那么就是60/3/1000的执行速度要求。有压力。个人觉得不可能
推荐阅读
- 特斯拉|监管层重拳出击 汽车远程升级将有规可循
- 选择一款IT资产管理系统(集合硬件资源、归属部门、ip地址、远程连接)等功能
- |伊朗核科学家系遭远程自动机枪射击身亡 暗杀行动三分钟
- 特斯拉|特斯拉或将允许车主远程调用Autopilot摄像头
- 怎样用手机来远程控制家里的灯及其他电器
- |因玩游戏不写作业家长暴打孩子并发家长群,警方:已批评教育
- 招商银行|招商银行成功发行首单远程簿记信用卡ABS
- |71.57%的运输人认为商用车远程故障诊断必不可缺
- 蜀锦传媒|不是所有OTA都叫FOTA,吉利星瑞首次远程升级都变了啥?
- 关于与高并发方面有啥影响大的论文,经典的图书可以看看