现在有多份 csv 文件,其中有一列是时间,我要提取这几份文件时间交集所在的行。现在是用 pandas 设置时间为 index,取时间的交集再去一行行遍历每份文件,然后输出为新的 csv 文件。但是感觉读写速度很慢,各位有没有效率高一点的方法。
多线程,然后就是看电脑硬件咋样了
多份文件都一样吗? spark: