cat /etc/sysconfig/opensm
这里面是opensm的详细信息,里面提到对于opensm的多端口有两种配置方案:
1) Start opensm on multiple machines and configure it to manage
different fabrics on each machine
2) Configure opensm to start multiple instances on a single
machine
大意是:
1. 在一台机器上启动多个进程,每个进程负责一个网卡口,优点是简单,并且能够为每个端口的策略详细定制
2. 在一个配置文件上指定多个网卡端口,一个进程负责管理这些端口,优点是够简单
我个人推荐方案1
因为:
方案2在遇到主机上有多块HCA卡时会出现错误,我遇到的现象就是交换机亮黄灯,或者ip addr show 的ib网卡状态,有一个是DOWN
方案1:
[root@rac1 log]# cp -a /etc/rdma/opensm.conf
/etc/rdma/opensm.conf.0
[root@rac1 log]# cp -a /etc/rdma/opensm.conf
/etc/rdma/opensm.conf.1
一定要注意,我们要的是Port GUID,不是其他的GUID,因为默认的输出还有system GUID等
[root@rac1 log]# ibstat |grep Port
Port 1:
Port GUID: 0x248a070300001234
Port 1:
Port GUID: 0x248a070300bc5678
编辑
/etc/rdma/opensm.conf.0和
/etc/rdma/opensm.conf.1
[root@rac1 log]# cat /etc/rdma/opensm.conf.0 |grep guid
guid
0x248a070300001234
..........omit............
[root@rac1 log]# cat /etc/rdma/opensm.conf.1 |grep guid
guid
0x248a070300005678
..........omit............
我们复制了
/etc/rdma/opensm.conf.<数字> 这种,opensm就不会去读取默认的
opensm.conf了
方案2:
当机器上只有1块HCA卡,上面有2个端口时,可以采用第二个,因为配置简单:
[root@rac1 log]# ibstat |grep Port
Port 1:
Port GUID: 0x248a070300001234
Port 1:
Port GUID: 0x248a070300bc5678
[root@rac1 log]# cat /etc/rdma/opensm.conf |grep guid
guid
0x248a070300001234
guid
0x248a070300bc5678
..........omit............
重启opensm,当然更推荐直接reboot
systemctl restart opensm
