分布式处理

[cuiyah]

Feature Description / 功能描述

当前的数据处理模式主要是：来回读写本地 json 文件，需要频繁的磁盘 IO 操作（如 FileStorage）。

数据加工步骤越多，处理流程就越长，IO操作越频繁。面对大规模数据时，这将可能成为性能瓶颈，将来是否会考虑进一步优化分布式处理能力，比如融合Ray？

System Info (dataflow env) / 系统信息（dataflow env）

/

Additional Information / 其他补充

No response

[cuiyah]

我后来在别的issue中看到你们正好有考虑这个ray，请问什么大概时候可以发版，期待一下

[SunnyHaze]

我们在昨天在这个PR #373 中提供了一个不频繁读写json文件的FileStorage，叫LazyFileStorage，不过暂时还没有做充分测试，也欢迎report bug。此外，这种全局放在内存里的做法，在面对预训练级别的数据时还是要做好数据分块，小心OOM等等问题。

Ray这个版本需要重构，几乎是DataFlow2.0了，可以预见的是今年能有一个初版，作者团队正在狠狠“锐意制作中”，具体发版时间还会有变数，敬请期待。

[cuiyah]

谢谢，一直关注你们的项目，期待~~~