【已解决】各位大佬，在使用Calibre的时候都是怎么通过LSF提交任务的？

kerwin.yin

目前大家在使用的过程中都是通过Calibre -remotefile这种形式自己指定计算节点的，现在我想把calibre的任务全部转到LSF集群上去，通过LSF来调度，但是有个问题，我问Mentor的FAE，他回复说不管用什么HPC平台都必须使用remotefile，他们其他的客户是让LSF给写了一个专门把LSF调度之后的计算几点+core数量信息转换成remotefile的脚本。


我问我们LSF的FAE，他竟然说不会，没用过Calibre，我就自己用python写了一个，但是用脚本提交的任务一直在pend和run中无限循环。
不知道各位是怎么使用Calibre和LSF的
-----------------------------------------------------------分割线---------------------------------------------------------------------------------------------------

已解决。
分享一下，我脚本的功能。
通过命令提交calibre任务：命令如下：
bsub -q -normal -n 1000 -E "python calibre.py" calibre -drc -hier -turbo -remotefile remotefile test.drc

1、提交任务后， -E选项会，将python calibre.py设置为calibre -drc.......任务的前置任务，需要先完成-E内的任务才会执行calibre任务
2、calibre.py的功能是，当任务提交之后，LSF会根据你指定的core数量来分配资源，分配情况如下：举例1000 core
       100*hosta
       200*hostb
       300*hostc
       100*hostd
       300*hoste
3、脚本将以上信息获取后，生成remotefile，内容如下：
LAUNCH AUTOMATIC
REMOTE HOST hosta 100 MGC_HOME xxxxxxxx
REMOTE HOST hostb 200 MGC_HOME xxxxxxxx
REMOTE HOST hostc 300 MGC_HOME xxxxxxxx
REMOTE HOST hostd 100 MGC_HOME xxxxxxxx
REMOTE HOST hoste 300 MGC_HOME xxxxxxxx
4、-E的前置任务结束后，就可以在LSF分配的计算节点执行calibre任务了。

总结：脚本的功能就是根据LSF调度信息自动生成remotefile文件。

目前还是一个比较low的雏形，还有很多亟待改进。好在，任务已经能跑起来了。