在线咨询
eetop公众号 创芯大讲堂 创芯人才网
切换到宽版

EETOP 创芯网论坛 (原名:电子顶级开发网)

手机号码,快捷登录

手机号码,快捷登录

找回密码

  登录   注册  

快捷导航
搜帖子
查看: 1645|回复: 3

[求助] shell脚本处理大文件缓慢问题

[复制链接]
发表于 2021-9-17 11:53:04 | 显示全部楼层 |阅读模式
100资产
我有一个文件需要处理,但是这个文件特别的大,之前求助得到了一个处理方法  sed -i  ':label;N;s/+\n//;b label' filename,
这个方法处理一个比较大文件,需要六七分钟,实在太慢了,
请问有哪位高手有好的方法优化一下吗?当然如果用perl写也可以
我要做的内容就是:寻找文件里的特定字符+,找到+后,把+后边一行合并到+后边,然后还要删掉+,其他的不做处理。
微信图片_20210916194609.png

最佳答案

查看完整内容

1: bigfile/number core 2: use your script to proc each piece small file per threadN 3 merge all small file
发表于 2021-9-17 11:53:05 | 显示全部楼层
1: bigfile/number core
2: use your script to proc each piece small file per threadN
3 merge all small file
 楼主| 发表于 2021-9-17 14:34:10 | 显示全部楼层


A1985 发表于 2021-9-17 11:53
1: bigfile/number core
2: use your script to proc each piece small file per threadN
3 merge all sma ...


多谢,按照您的方法解决了
发表于 2021-10-16 09:54:05 | 显示全部楼层
厉害,学习了
您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

站长推荐 上一条 /1 下一条

×

小黑屋| 关于我们| 联系我们| 在线咨询| 隐私声明| EETOP 创芯网
( 京ICP备:10050787号 京公网安备:11010502037710 )

GMT+8, 2024-3-29 03:53 , Processed in 0.020191 second(s), 8 queries , Gzip On, Redis On.

eetop公众号 创芯大讲堂 创芯人才网
快速回复 返回顶部 返回列表