在线咨询
eetop公众号 创芯大讲堂 创芯人才网
切换到宽版

EETOP 创芯网论坛 (原名:电子顶级开发网)

手机号码,快捷登录

手机号码,快捷登录

找回密码

  登录   注册  

快捷导航
搜帖子
查看: 4529|回复: 14

openlava-6.0

[复制链接]
发表于 2022-12-13 11:02:45 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?注册

x
这个6.0是第三方的6.0

原地址:https://blog.csdn.net/weixin_41869370/article/details/121727764

资源下载链接: https://pan.baidu.com/s/1LoTwhzHtcGQA0t6A3Ft0aw 提取码: hpdh

openlava-6.0
主要更新和优化修改如下:

  • 简化了配置文件,优化了软件架构。优化了 lsf.cluster,lsf.shared,lsb.hosts 配置文件。
  • 重写了底层的数据访问函数,全部更改为双向循环链表。这部分改动比较大,涉及两三百个函数修改。为什么要这样做呢?因为源码的各个子功能模块数据定义近似或重复,函数实现重复。而且代码可维护性差,缺乏统一性。
  • 优化了部分底层高频函数,简化了子功能模块的架构,优化了函数之间的相互调用,效率更高。
  • 优化了eauth验证模块,更改为直接函数调用,效率更高。
  • 优化了 bjob -l 命令,去除了输出折行。
  • 添加了 LSB_JOB_REPORT_MAIL 参数,默认不启用。曾经遇到的坑,任务在运行完后会发送邮件通知,sbatchd进程占用率过高压垮系统,导致集群无法响应。
  • 4.0版本只能在 V N C、E T X等远程工具中通过"xhost +",“bsub -Is” 启动图形化工具,6.0版本添加了 bsub -XF 图形化交互式功能,丰富了需要使用图形化交互式的场景。
  • 修复了bsub -Is 终端交互式,终端窗口大小 80x24 限制问题,更改为当前终端窗口大小。
  • 修复了内存统计bug,该bug在 openlava 和 lsf 所有版本中都存在。
  • 添加了GPU资源调度, 自动维护 CUDA_VISIBLE_DEVICES列表,可在 lsf.conf 配置文件中 LSF_GPU_SCHED=Y 启用。
  • 统一了网络模型,优化网络功能模块。mbatchd,sbatchd,lim更改为poll模型。
  • 优化了 fairshare, preempt 功能模块。由原来的加载文件调用方式更改为直接函数调用,效率更高。
  • 集群用户配置文件 lsb.users 添加了 CPU_TIME_FACTOR 参数,限制用户CPU使用率。是对 fairshare, preempt 功能的补充,更进一步区别对待用户。当集群中的不同用户同时跑任务时,优先级低的用户将被限制CPU使用,也可以约束用户的单进程多线程任务。
  • bjobs 任务信息展示,添加了任务平均内存使用和最大内存使用统计信息,添加了任务的job pid信息,和任务线程数,添加了job进程最大和平均 CPU 使用率信息。
  • bjobs 默认 和 bjobs -o 信息展示,添加了 RUN_CPU,RUN_THREAD,RUN_MEM,RUN_SWAP,OPEN_FILES 信息,方便及时获取job当前的资源使用情况。
  • 添加了 LSF_MASTER_LIST 参数,最大支持8个,master 在指定的列表内抢占,列表内主机的优先级依次递减,避免了 master 在整个集群内漂移。
  • 添加了用户组管理员,lsb.users 文件中 UserGroup 添加了 GROUP_ADMIN 功能。默认情况下,用户组管理员具有与作业所有者相同的权限,并且可以控制属于他们管理的组的成员用户的任何作业。如果作业属于其用户组的成员,用户组管理员还可以恢复 LSF 管理员或队列管理员停止的作业。GROUP_ADMIN 属性如下:
    a. 继承用户组管理员权限.
    b. 用户组和用户组管理员定义不能递归或创建循环.
    c. 不支持保留的关键字: others, default, allremote.

openlava-6.0 源码并没有上传github,仅提供编译测试过的二进制文件。
免费,无功能限制,有效期截止至:2025年8月26日
该版本仅供技术交流和测试使用,不提供源代码。

另外在 openlava 源码中也发现了一个有趣的注释:
/* free the shit… */

openlava-2.0_20220606
主要更新如下:

  • 添加了 bsub -XF 图形化交互式功能
  • 修复了 bsub -Is 终端交互式bug
  • 修复了交互式终端窗口大小 80x24 限制,更改为当前窗口大小
  • 修复了 bjobs -l 内存统计不准确的bug
  • 修复了 lshosts -l 信息展示bug
  • bjobs 信息展示,去除了折行
  • 免费,无限期使用,无其他限制

发表于 2022-12-13 11:11:40 | 显示全部楼层
可以学习下,谢谢
发表于 2022-12-13 11:30:04 | 显示全部楼层
没有源码。风险太大
发表于 2022-12-13 11:32:09 | 显示全部楼层
看看,,,
发表于 2022-12-13 12:23:38 | 显示全部楼层
感谢分享
发表于 2022-12-13 15:53:38 | 显示全部楼层
谢谢
发表于 2022-12-14 21:10:30 | 显示全部楼层
多谢分享
发表于 2022-12-14 21:26:11 | 显示全部楼层

多谢分享
发表于 2023-7-29 16:20:24 | 显示全部楼层
Thanks for sharing~~~
发表于 2023-7-30 04:52:13 | 显示全部楼层
thanks
您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

站长推荐 上一条 /1 下一条

小黑屋| 手机版| 关于我们| 联系我们| 在线咨询| 隐私声明| EETOP 创芯网
( 京ICP备:10050787号 京公网安备:11010502037710 )

GMT+8, 2024-11-18 02:33 , Processed in 0.029787 second(s), 6 queries , Gzip On, Redis On.

eetop公众号 创芯大讲堂 创芯人才网
快速回复 返回顶部 返回列表