马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?注册
x
这个6.0是第三方的6.0
原地址:https://blog.csdn.net/weixin_41869370/article/details/121727764
资源下载链接: https://pan.baidu.com/s/1LoTwhzHtcGQA0t6A3Ft0aw 提取码: hpdh
openlava-6.0
主要更新和优化修改如下: - 简化了配置文件,优化了软件架构。优化了 lsf.cluster,lsf.shared,lsb.hosts 配置文件。
- 重写了底层的数据访问函数,全部更改为双向循环链表。这部分改动比较大,涉及两三百个函数修改。为什么要这样做呢?因为源码的各个子功能模块数据定义近似或重复,函数实现重复。而且代码可维护性差,缺乏统一性。
- 优化了部分底层高频函数,简化了子功能模块的架构,优化了函数之间的相互调用,效率更高。
- 优化了eauth验证模块,更改为直接函数调用,效率更高。
- 优化了 bjob -l 命令,去除了输出折行。
- 添加了 LSB_JOB_REPORT_MAIL 参数,默认不启用。曾经遇到的坑,任务在运行完后会发送邮件通知,sbatchd进程占用率过高压垮系统,导致集群无法响应。
- 4.0版本只能在 V N C、E T X等远程工具中通过"xhost +",“bsub -Is” 启动图形化工具,6.0版本添加了 bsub -XF 图形化交互式功能,丰富了需要使用图形化交互式的场景。
- 修复了bsub -Is 终端交互式,终端窗口大小 80x24 限制问题,更改为当前终端窗口大小。
- 修复了内存统计bug,该bug在 openlava 和 lsf 所有版本中都存在。
- 添加了GPU资源调度, 自动维护 CUDA_VISIBLE_DEVICES列表,可在 lsf.conf 配置文件中 LSF_GPU_SCHED=Y 启用。
- 统一了网络模型,优化网络功能模块。mbatchd,sbatchd,lim更改为poll模型。
- 优化了 fairshare, preempt 功能模块。由原来的加载文件调用方式更改为直接函数调用,效率更高。
- 集群用户配置文件 lsb.users 添加了 CPU_TIME_FACTOR 参数,限制用户CPU使用率。是对 fairshare, preempt 功能的补充,更进一步区别对待用户。当集群中的不同用户同时跑任务时,优先级低的用户将被限制CPU使用,也可以约束用户的单进程多线程任务。
- bjobs 任务信息展示,添加了任务平均内存使用和最大内存使用统计信息,添加了任务的job pid信息,和任务线程数,添加了job进程最大和平均 CPU 使用率信息。
- bjobs 默认 和 bjobs -o 信息展示,添加了 RUN_CPU,RUN_THREAD,RUN_MEM,RUN_SWAP,OPEN_FILES 信息,方便及时获取job当前的资源使用情况。
- 添加了 LSF_MASTER_LIST 参数,最大支持8个,master 在指定的列表内抢占,列表内主机的优先级依次递减,避免了 master 在整个集群内漂移。
- 添加了用户组管理员,lsb.users 文件中 UserGroup 添加了 GROUP_ADMIN 功能。默认情况下,用户组管理员具有与作业所有者相同的权限,并且可以控制属于他们管理的组的成员用户的任何作业。如果作业属于其用户组的成员,用户组管理员还可以恢复 LSF 管理员或队列管理员停止的作业。GROUP_ADMIN 属性如下:
a. 继承用户组管理员权限.
b. 用户组和用户组管理员定义不能递归或创建循环.
c. 不支持保留的关键字: others, default, allremote.
openlava-6.0 源码并没有上传github,仅提供编译测试过的二进制文件。
免费,无功能限制,有效期截止至:2025年8月26日
该版本仅供技术交流和测试使用,不提供源代码。 另外在 openlava 源码中也发现了一个有趣的注释:
/* free the shit… */ openlava-2.0_20220606
主要更新如下: - 添加了 bsub -XF 图形化交互式功能
- 修复了 bsub -Is 终端交互式bug
- 修复了交互式终端窗口大小 80x24 限制,更改为当前窗口大小
- 修复了 bjobs -l 内存统计不准确的bug
- 修复了 lshosts -l 信息展示bug
- bjobs 信息展示,去除了折行
- 免费,无限期使用,无其他限制
|