shell脚本处理大文件缓慢问题

王喜鑫 · 发表于 2021-9-17 11:53:04

我有一个文件需要处理，但是这个文件特别的大，之前求助得到了一个处理方法 sed -i ':label;N;s/+\n//;b label' filename,
这个方法处理一个比较大文件，需要六七分钟，实在太慢了，
请问有哪位高手有好的方法优化一下吗？当然如果用perl写也可以
我要做的内容就是：寻找文件里的特定字符+，找到+后，把+后边一行合并到+后边，然后还要删掉+，其他的不做处理。

A1985 · 发表于 2021-9-17 11:53:05

1: bigfile/number core
2: use your script to proc each piece small file per threadN
3 merge all small file

王喜鑫 · 发表于 2021-9-17 14:34:10

A1985 发表于 2021-9-17 11:53
1: bigfile/number core
2: use your script to proc each piece small file per threadN
3 merge all sma ...

多谢，按照您的方法解决了

rutan · 发表于 2021-10-16 09:54:05

厉害，学习了

[求助] shell脚本处理大文件缓慢问题

最佳答案

站长推荐 /2