easyLambda- C++数据处理框架

easyLambda- C++数据处理框架

easyLambda 是一个 C 的 MPI 和数据处理框架。该项目旨在满足使用 C 进行标准化的数据处理。设计的目标是可组合、易用接口、去耦合I/O，算法逻辑无需关注数据格式和并行处理代码，减少样板代码数量。可方便的处理类型安全的数据流管道，MapReduce 操作，MPI 并行计算 等等。

easyLambda 使用 ezl 来编写数据处理任务，下面是一个示例的 ezl 任务：

ezl::rise(ezl::kick(10000)) // 10000 trials in total  .map([] {     auto x = rand01();    auto y = rand01();    return x*x + y*y;   })  .filter(ezl::lt(1.))  .reduce(ezl::count(), 0)  .map([](int inCircleCount) {     return (4.0 * inCircleCount / 10000);   }).colsTransform().dump()  .run();

并行计算模型：

性能测试结果：

数据流：

要求：

c14 兼容的编译器和 MPI (mpic/mpicxx 和 mpirun)支持 gcc-5.1 和 clang-3.5 或者更新版本在 gcc-5.3, gcc-6.0(dev. branch), Apple LLVM version 7.0.0 (clang-700.0.72) 下测试通过 boost::mpi, boost::serialization 测试通过的版本是 5.8 和 6.0.

MPI是一个跨语言的通讯协议，用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口，包括协议和和语义说明，他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能，大规模性，和可移植性。MPI在今天仍为高性能计算的主要模型。

主要的MPI-1模型不包括共享内存概念，MPI-2只有有限的分布共享内存概念。但是MPI程序经常在共享内存的机器上运行。在MPI模型周边设计程序比在NUMA架构下设计要好因为MPI鼓励内存本地化。

尽 管MPI属于OSI参考模型的第五层或者更高，他的实现可能通过传输层的sockets和Transmission Control Protocol(TCP)覆盖大部分的层。大部分的MPI实现由一些指定惯例集（API）组成，可由C,C++,Fortran,或者有此类库的语言比如C#, Java orPython直接调用。MPI优于老式信息传递库是因为他的可移植性和速度。

下面是一个用于统计单词数量的示例代码：

#include #include #include "ezl/ezl.hpp"#include "ezl/algorithms/readFile.hpp"#include "ezl/algorithms/reduces.hpp"int main(int argc, char* argv[]) {  using std::string;  using ezl::readFile;  boost::mpi::environment env(argc, argv);  ezl::rise(readFile(argv[1]).rowSeparator('s').colSeparator(""))    .reduce<1>(ezl::count(), 0).dump()    .run();  return 0;}

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。