超级方便的轻量级Python流水线工具,还有漂亮的可视化界面


超级方便的轻量级Python流水线工具,还有漂亮的可视化界面

文章插图
 
Mara-pipelines 是一个轻量级的数据转换框架 , 具有透明和低复杂性的特点 。其他特点如下:
  • 基于非常简单的Python代码就能完成流水线开发 。
  • 使用 PostgreSQL 作为数据处理引擎 。
  • 在Web界面可视化分析流水线执行过程 。
  • 基于 Python 的 multiprocessing 单机流水线执行 。不需要分布式任务队列 。轻松调试和输出日志 。
  • 基于成本的优先队列:首先运行具有较高成本(基于记录的运行时间)的节点 。
此外 , 在Mara-pipelines的Web界面中 , 你不仅可以查看和管理流水线及其任务节点 , 你还可以直接触发这些流水线和节点 , 非常好用:
超级方便的轻量级Python流水线工具,还有漂亮的可视化界面

文章插图
 


    推荐阅读