在线咨询 开启辅助访问 切换到宽版
eetop公众号 创芯大讲堂 创芯人才网

EETOP 创芯网论坛 (原名:电子顶级开发网)

便捷登录,只需一步

找回密码

  登录   注册  

快捷导航
搜帖子
芯片精品文章合集(500篇!)    创芯人才网--重磅上线啦!
查看: 344|回复: 3

[求助] shell脚本处理大文件缓慢问题

[复制链接]
发表于 2021-9-17 11:53:04 | 显示全部楼层 |阅读模式
100资产
我有一个文件需要处理,但是这个文件特别的大,之前求助得到了一个处理方法  sed -i  ':label;N;s/+\n//;b label' filename,
这个方法处理一个比较大文件,需要六七分钟,实在太慢了,
请问有哪位高手有好的方法优化一下吗?当然如果用perl写也可以
我要做的内容就是:寻找文件里的特定字符+,找到+后,把+后边一行合并到+后边,然后还要删掉+,其他的不做处理。
微信图片_20210916194609.png

最佳答案

查看完整内容

1: bigfile/number core 2: use your script to proc each piece small file per threadN 3 merge all small file
发表于 2021-9-17 11:53:05 | 显示全部楼层
1: bigfile/number core
2: use your script to proc each piece small file per threadN
3 merge all small file
回复

使用道具 举报

 楼主| 发表于 2021-9-17 14:34:10 | 显示全部楼层


A1985 发表于 2021-9-17 11:53
1: bigfile/number core
2: use your script to proc each piece small file per threadN
3 merge all sma ...


多谢,按照您的方法解决了
回复

使用道具 举报

发表于 2021-10-16 09:54:05 | 显示全部楼层
厉害,学习了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

站长推荐 上一条 /1 下一条

小黑屋| 关于我们| 联系我们| 在线咨询| 隐私声明| 在线咨询 |  EETOP 创芯网 ( 京ICP备:10050787号 京公网安备:11010502037710 )

GMT+8, 2021-10-24 14:26 , Processed in 0.058110 second(s), 7 queries , Gzip On, Redis On.

eetop公众号 创芯大讲堂 创芯人才网
快速回复 返回顶部 返回列表