Weld-Project- 用于数据分析应用程序的高性能运行时

Weld-Project- 用于数据分析应用程序的高性能运行时

Weld 使用 Rust 语言编写，可以使用 LLVM 编译器框架，为整个数据分析工作流生成高效的并行运行的代码。CSAIL曾开发出了几个将速度推向极限的大数据加速项目，比如 Milk 和 Tapir。

这个小组声称 Weld是一种面向数据分析的通用运行时环境，它拿来现代数据处理堆栈几个分离的部分后，可以步调一致地优化它们。每一个部分快速运行，但是“跨不同功能的数据移动可能占了执行时间的大部分。”

换句话说，管道花在将数据在各部分之间来回移动上的时间超过了花在实际处理数据上的时间。Weld创建了一种每个库都可以接入的运行时环境，提供了一种通用方法，可以跨管道运行需要并行化和优化的关键数据。

诸多框架本身并不为运行时环境生成代码。相反，它们通过 API 来调用 Weld，该 API 描述了处理哪种类型的工作。然后，Weld 使用 LLVM生成可自动包括优化机制（比如多线程处理）或面向高速向量运算的英特尔 AV2 处理器扩展的代码。

当前的性能指标

部分内容摘自云头条

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。