Linux对一个3G的文本进行编码转换全过程

Linux对一个3G的文本进行编码转换全过程

本过程中涉及到的Linux的命令有：split, iconv, cat

问题：有一个3G的文本a.txt，编码格式为gbk，现在需要对其进行转换成为utf-8。

难点：iconv的转换是在内存中进行的，因此3G大小的文本，无法进行直接转换。

思路：先利用split进行文件切分，然后对每一个字文件进行ivonv转换，最后进行cat合并。

具体操作如下：

1) ll -h a.txt 查看文件的大小，2.9G

2) wc -l a.txt 查看文件的行数，9千200万行

3) split -l 20000000 a.txt chunk 按照每个文件2千万行进行切割，共分成5个文件

4) 进行转换
iconv -f gbk -t utf-8 chunka > chunka_utf8 -c
iconv -f gbk -t utf-8 chunkb > chunkb_utf8 -c
iconv -f gbk -t utf-8 chunkc > chunkc_utf8 -c
iconv -f gbk -t utf-8 chunkd > chunkd_utf8 -c
iconv -f gbk -t utf-8 chunke > chunke_utf8 -c

5) rm chunka chunkb chunkc chunkd chunke 删除原文件

6) cat chunk* > a.txt_utf8 进行合并

至此，工作完成。