高并发 I/O 远程抽取数据技术方案怎样选型

每次任务三千多个远程数据库连接这句话听起来实在是太可疑了。Stackless 基本已经被放弃,开发力量后来都集中于 PyPy,但 PyPy 未必是最好的选择。Twisted 算是一个相当久经考验的非阻塞 I/O 框架;另外可选的是 Gevent,最近刚刚过 1.0,编程模型比 Twisted 简单;另外如果需要复杂的多进程早做,还有一个专门为了简化 Gevent 中多进程处理的 Gipc 库( gipc: child processes and IPC for gevent )。但还是觉得这个更像是实现逻辑或实现细节的问题。
■网友
一,3个任务之间有没有耦合,没有耦合就并发执行,如果有耦合考虑顺序执行二,每个任务产生了1000次数据库连接,我可以理解为你这个任务需要1000个步骤(真的需要这么多么?可以合并么?)这1000个步骤有依赖关系么?(可以并发执行么?)最悲观的情况3个任务耦合,有顺序。每个步骤都必须串行。那么就是60/3/1000的执行速度要求。有压力。个人觉得不可能


    推荐阅读