本次用的是华为的2288hv2 一台2u的服务器。
cpu用的是 两颗e5-2690V2 内存64G。
把阵列卡拆掉了。硬盘背板的电源也拔掉了。我是没用前面的硬盘笼。具体功耗没测,这事交给别人去做吧。
你手里得有 张扩展卡 ,最好就是两个X16槽的那款。插上p4 直接装在机箱里面。至于p4的散热 自己想办法吧。
用efi 模式启动安装esxi。
用了一个256G的 sata的固态安装esxi.又加了一块1t的nvme 装虚拟机和vcenter
前面这些都非常简单。
就最后安装驱动麻烦点。主要是找驱动 太麻烦了。
这里我直接把esxi7.0.2的 vgpu驱动放到这里方便大家下载。虚拟机win10 的显卡驱动也一并放出来。页面右边有下载。
现在esxi安装好了。就可以给p4打驱动了。esxi先打开ssh 使用WinSCP把驱动压缩包中Host主机目录下相关文件传到ESXi的/tmp目录下,根据驱动版本不同,文件夹下文件也不同,对于目前的长周期支持分支vGPU 13.x(ESXi 7.0 推荐使用,不支持ESXi 8.0),Host主机仅有一个NVD-VGPU开头的驱动包,对于最新的产品分支vGPU 15.x及之后(支持ESXi 8.0) ,还会有一个nvd-gpu-mgmt-daemon开头的文件,Host主机下的NVD-VGPU开头的驱动zip文件不需要再次解压,请把文件直接拷过去。
安装驱动之前先检查一下GPU是否被正常识别到,SSH到ESXi,使用命令:lspci | grep NVIDIA 来检查。
登录ESXI网页将主机进入维护模式,开始安装驱动
对于vGPU 15.x及之后需要执行俩次命令:
esxcli software vib install -d /tmp/NVD-VGPU*.zip
esxcli software vib install -d /tmp/nvd-gpu-mgmt-daemon*.zip
等待几分钟,提示安装完成,重启一下主机验证驱动是否正常,输入nvidia-smi
特别注意2点:1、ECC模式是否显示off 2、默认情况下vSphere会使用vsga模式,而不是vGPU模式,所以能看到最下面xorg条目,这个我们后面改。
如果看到nvidia-smi信息里面ECC区域不是off状态,而是0,这说明你现在的ECC是启用的状态,并不是所有vgpu都可以使用ECC,如果你不能确认你的环境是否需要启用ECC,那建议先关闭ECC
使用命令来关闭ECC,注意,启用或者关闭ECC都需要重启主机。
执行命令关闭ECC,关闭后需要重启主机 nvidia-smi –e 0
驱动安装完成后将主机退出维护模式。
vCenter配置显卡共享模式
6.1、登陆vCenter,定位到主机-配置-图形,编辑主机图形设置,可以看到默认是共享模式,也就是vsga,我们需要切换到“直接共享”才能使用vGPU。
6.2、默认为共享,修改成直接共享,并重启xorg服务
更改成功以后就没有xorg条目了,可以开始使用vGPU了!
分配虚拟机显卡资源
7.1、编辑虚拟机,新增PCI设备,可根据授权来分配显卡Q B A
显存分配必须一致,比如一个主机下所有虚拟机显存都是2Q 或者4Q,
不能虚拟机1是2Q,虚拟机2是4Q,显卡资源调度会有问题。
7.2、GPU显卡选择类型如下:
虚拟安装好win10系统后我们得安装vgpu使用的grid驱动,此处以512.78_grid_win10_win11_server2016_server2019_server2022_64bit_international 为例
注意:目前已知的成功案例的guest驱动均为5XX.XX版本,4XX.XX版本未有成功案例
直接安装即可,这里就不附带图片了,相信装个驱动……不至于吧
安装完驱动会提示需要重启,此时不急着重启,先把授权应用了再进行重启
这就是最后虚拟机安装完win10打好驱动的完工的状态
至于远程桌面链接用什么软件,根据自己的喜好来吧。
评论(0)