江苏龙网

  1. 首页 > 人文 > >

人走茶凉|API统一、干净，新型EagerPy实现多框架无缝衔接

选自arXiv
编辑：杜伟、小舟
这个新型 Python 框架对库开发者和用户都大有裨益 。
近年来 ， 深度学习领域的进展与深度学习框架的开发同步进行 。 这些框架为自动微分和 GPU 加速提供了高级且高效的 API ， 从而可以利用相对较少和简单的代码实现极度复杂和强大的深度学习模型 。
最初 ， Theano、Caffe、MXNet、TensorFlow 和 CNTK 等很多流行的深度学习框架使用的是基于图的方法 。 用户首先需要定义一个静态数据流图（static data flow graph） ， 然后可以对它进行高效地微分、编译并在 GPU 上执行 。 所以 ， 提前了解整个计算图有助于实现高性能 。
但是 ， 这种方法导致难以调试模型以及实现具有变化图（changing graph）的动态模型（如 RNN） 。
所以 ， 针对这种方法的局限性 ， 深度学习模型的 Eager Execution 成为了深度学习研究领域的主流方法 。 用户不再需要提前构建静态数据流图 ， Eager Execution 框架自身就可以提供 define-by-run 的 API ， 它可以高速地构建临时的动态图 。 目前 ， 两大主流深度学习框架 PyTorch 和 TensorFlow 都在使用 eager execution 方法 。
而在本文中 ， 来自德国图宾根大学和图宾根伯恩斯坦计算神经科学中心的研究者将 eager execution 进行了扩展 ， 提供了一个新的 Python 框架 EagerPy ， 它可以编写自动且原生地适配 PyTorch、TensorFlow、Jax 和 Numpy 的代码 。 EagerPy 对库开发者和用户都有裨益 。
人走茶凉|API统一、干净，新型EagerPy实现多框架无缝衔接论文地址：
项目地址：
EagerPy 能够编写与框架无关（framework-agnostic）的代码 ， 这些代码可以与 PyTorch、TensorFlow、Jax 和 NumPy 实现原生地适配 。
这样一来 ， 首先对于新库开发者而言 ， 他们不仅可以选择同时支持上述这几个主流深度学习框架或者为每个框架重新实现库 ， 而且可以对代码重复进行处理 。
其次对于这些库的使用者而言 ， 他们也可以更轻松地切换深度学习框架 ， 并且不会被特定的第三方库锁定 。
不仅如此 ， 单个框架的使用者也会从 EagerPy 中获益 ， 这是因为 EagerPy 提供了全面的类型注释以及对方法链接到任何框架的一致支持 。
接下来我们来看 EagerPy 的具体设计与实现 。
EagerPy 的设计与实现
EagerPy 的构建考虑到了 4 个设计目标 。 两个主要的目标是为需要执行操作的人提供统一的 API ， 并维护底层框架的原始性能 。 这两个主要目标定义了 EagerPy 是什么 ， 所以是设计的核心 。
与底层框架特定的 API 相比 ， 完全可链接的 API 和全面的类型检查支持这两个附加目标使 EagerPy 更加易于使用 ， 也更安全 。
尽管进行了这些更改和改进 ， 但研究者尝试避免不必要的熟悉度（familiarity）损失 。 只要有意义 ， EagerPy API 都会遵循 NumPy、PyTorch 和 JAX 设置的标准 。
统一的 API
为了实现语法上的一致性 ， 研究者使用适当的方法定义了一个抽象 Tensor 类 ， 并使用一个实例变量来保存原生张量（native tensor） ， 然后为每个支持的框架实现一个特定的子类 。 对于诸如 sum 或 log 的很多操作 ， 这就像调用底层框架一样简单；而对于其他操作 ， 则工作量会稍大一些 。
最困难的部分是统一自动微分 API 。 PyTorch 使用了一个低级的 autograd API ， 该 API 允许但也需要对反向传播的精确控制 。 TensorFlow 使用基于梯度磁带（gradient tapes）的更高级 API 。 而 JAX 使用基于微分函数的相当高级的 API 。
所以 ， 为了统一它们 ， EagerPy 模仿了 JAX 的高级功能 API ， 并在 PyTorch 和 TensorFlow 中重新实现 。 EagerPy 通过 value_and_grad_fn() 函数将其开放 。


推荐阅读


上一篇：前沿追踪|GitLabCI/CD自动集成和部署到远程服务器

下一篇：沫言|解读数据库：深入分析MySQL中事务以及MVCC的实现原理