关于处理大量数据


#1

想请教下各位,有没有关于利用Julia处理大量数据(比如1G-10G)的benchmark测试,网上一直没有找到。

或者请教下Julia处理(比如data preprocessing)这种量级数据的性能,。

谢谢大家。


#2

自己试一下就知道性能如何了,为什么需要去网上找。

using BenchmarkTools
@btime 你的函数

你只说“处理大量数据”,那我简单读进内存里也是处理,ML炼丹也是处理,不结合具体任务无法回答。


#3

就是数据预处理,然后主成分分析,或者聚类回归相关的算法。。不好意思,没说清楚。