H5W3
当前位置:H5W3 > 其他技术问题 > 正文

30G的文件,截取部分记录。如何快速有效?

有个30G的文件。没有分隔符,需要根据文件中的位置,例如(第5-10位,15-20位的之类的记录)
清洗成一个4G左右的文件。

比如文件内容:

12欧卡男19900101安徽13908726545
13孔位男19900201北京13908726234
14萨拉男19901101山西13908726111

截取:第3-4位,第5位,第16-26位 这3个字段。

我的想法是用shell进行分割拼接处理,以前没有进行过这方面的开发。而且受服务器的性能限制,这个方案不太理想,所以求教,有没有更加有效的处理方式?

回答

你的数据是分行的,你可使用python的,文件句柄的readline,或readlines方法来分块处理数据,使用方法如下:

f=open(‘data_file_name’,’r’)
f.readline() 每次读一行
f.readlines(N) 每次可读入多行数据(总的数据长度不超过N字长),然后对数据逐行处理即可。磁盘读写比较费时,所以可是适当调整N值,
来以次读入多行,可以有效减少读数据的次数,效率会高一点

本文地址:H5W3 » 30G的文件,截取部分记录。如何快速有效?

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址