关于仿真速度瓶颈的挣扎！

cyberwillis

pps453 发表于 2025-4-14 09:40
嗯，感谢你的建议，我们的确没有用到这样的软件来管理。。。看起来这是一个合理的建议，就是不知道具体如 ...

是的，有一个学习曲线……放松，祝你好运

pps453

cyberwillis 发表于 2025-4-14 09:40
是的，最好的方法仍然是使用一台机器来运行软件，并使用光纤来存储 SAN，以实现快速存储访问。
...

目前是这样的，但是存储不能直接连接交换机，需要通过一台服务器来连接，然后再NFS挂载到其他服务器！用dd复制测试，连接存储的服务器本地复制到存储目录，1G的文件只需要1S，而挂载的服务器上下复制到挂载目录的确有5-12S的延迟！可见还是有差距的！

cyberwillis

pps453 发表于 2025-4-14 09:47
目前是这样的，但是存储不能直接连接交换机，需要通过一台服务器来连接，然后再NFS挂载到其他服务器！用d ...

嗯，我觉得这里有些地方不太清楚，因为 SAN 不需要 NFS 协议。在 SAN 配置中，HBA 卡通过光纤通道直接连接到 Raid 或 zRaid 配置中的存储，交换机和光纤通道卡应该支持对任何节点透明的速率，就像本地平衡存储一样。无论哪个工作站尝试访问软件或存储，SAN 都会为其提供可用资源。然而，您的设置改变了 SAN 架构，并在中间放置了一个 NFS（这是我的理解），从而造成了瓶颈。

我真的不知道您延迟的原因是什么。可能是中间的整个操作系统，可能是网络，甚至是 NFS 本身。
另外，请记住，在 Linux 中，当您复制某些内容时，看起来好像在 1 秒内就传输完成了，但实际上提交所有内容需要几秒钟，而当您尝试在其他机器上使用它时，这种情况可能已经变得透明了……谁知道呢……

pps453

cyberwillis 发表于 2025-4-14 10:38
嗯，我觉得这里有些地方不太清楚，因为 SAN 不需要 NFS 协议。在 SAN 配置中，HBA 卡通过光纤通道直接连 ...

哦。SAN我也不懂，我们是存储用HBA卡连接的一台服务器，其他服务器再挂载这台服务器！看起来个SAN是有区别的！我原来的想法是存储直接连接交换机，然后多台服务器能共同访问，但是买回来才知道，存储相当于一块移动硬盘，必须连接一个服务器，而不能直接在网络上访问。。。

talangerlai

pps453 发表于 2025-4-14 09:26
感谢仁兄不吝讨论，以你的经验，CPU才是根本问题，CPU要挑选单核线程多的。我现在的6254的确总共只有72核 ...

是这样的，swap 你必须要开的，这是必须的，没得商量。我给举个例子来说明 swap 具体是做什么用的。比如你启动了一个进程，它申请了20GB物理内存，但实际上这个进程在工作的过程中真正需要的内存空间可能远大于20GB，比如实际需要40GB，但这些空间并不都同时用，于是此时此刻只要有20GB物理内存就够了，其余的部分可以交换进入到 swap里面去。另外，还有一种非常常见的情况，那就是某些你服务器用户开的进程，原本占用了比较多的物理内存，现在这些进程进入了非活跃状态，他们占据的物理内存就会有很大一部分被交换到swap 空间里面去，这样才能尽可能地给活跃进程腾出更多的物理内存可用。我们的服务上的例子就是项目组的工程师们经常是开了好几个virtuoso ，打开各种大版图，用完了之后也不关，就扔在那里。于是这些非活跃进程占据的大量的物理内存此后都会被交换到 swap 空间里去，慢慢的就把 swap 给填满了。这时候哪怕你的物理内存还有空余，其他某些依旧活跃的进程需要往 swap 空间里写东西的时候就会卡住，甚至导致你的整个系统都响应迟钝。应对这种情况也简单，你写一个搜索过滤目前占据大量Swap 空间的进程的脚本就可以了，然后根据搜索结果，按占据swap 空间从大到小把不必要存在的进程kill 掉，就由能腾出swap 空间来了，系统的缓慢响应一下子就缓解了。   至于 swap 空间具体应该放在哪里，建议放在读写速度比较快的 ssd 上。讲究一点儿的服务配置方式可能还会把swap 空间单独设置在一块儿独立的 SSD上，以防止因为频繁读写可能造成的SSD失效拖累同在一个SSD 上的操作系统。

然后就是内存容量的问题，不同的架构适合的内存容量也不一样，比如我们的 EPYC7763 ，它就是支持8通道内存的，所以我们装的2TB，一共是16根128GB的内存条，每个CPU配8根刚好组成8通道。但如果是更新一代的EPYC ，那就是12通道内存了，还是用128GB的单条组出来的就是3TB的总内容容量，如果换成64GB的单条，组出来就是1.5TB的总内存容量。至于具体需要多少物理内存要看你们的仿真任务的需要，我们这边儿一般一路仿真占个30-50GB物理内存就算多的了，最多同时运行10几路仿真的话，无论如何你物理内存总量是不能低于1TB的，因为只要大于512GB，又要凑满8通道的话，就只能上1TB。某些电磁相关的仿真，如果参数设置的比较奔放的话，我们曾经跑过一路仿真进程占750GB物理内存的情况，那种场景就必须的2TB内存的服务器才能应对了。

chinataozi

pps453 发表于 2025-4-14 13:26
哦。SAN我也不懂，我们是存储用HBA卡连接的一台服务器，其他服务器再挂载这台服务器！看起来个SAN是有区 ...

这种 “大优盘” 存储，以前有个朋友买过，他买的是DELL SCV3000型号，需要选配 NX NAS机头，才能通过IP访问，奇怪的产品。

便宜的存储就是个坑。

jeromechen2008

存储用SAN吧，感觉NFS把网络都吃掉了。。。

youngjevon

4路的服务器配512G内存太小了，至少1T起把。NFS至少跑在10G网络上，优化NFS的挂载参数。仿真数据和项目数据分离，仿真数据用raid0不做数据冗余

pps453

talangerlai 发表于 2025-4-14 16:06
是这样的，swap 你必须要开的，这是必须的，没得商量。我给举个例子来说明 swap 具体是做什么用的。比如 ...

感谢你的回复！我之前是开SWAP的，百度查swap是在物理内存不够用时才会用到，但是swap又比内存慢，实际情况确实出现一用到swap就比较卡，所以索性关掉了...   听你这么说，可以考虑加两块物理固态盘，单独做swap!

pps453

youngjevon 发表于 2025-4-15 09:21
4路的服务器配512G内存太小了，至少1T起把。NFS至少跑在10G网络上，优化NFS的挂载参数。仿真数据和项目数据 ...

我也觉的有点小了。。。整个盘做的是raid10,目前选了几台才改造10G网，但是感觉效果不明显！