用于VR编程的NVIDIA SMP Assist API

NVIDIA SMP（同时多投影）辅助NVAPI驱动程序扩展是一种将多分辨率着色和镜头匹配着色集成到VR应用程序中的简单方法。它将大量的状态设置和API调用封装到简化的API中，从而大大降低了将NVIDIA VRWorks集成 到应用程序中的复杂性  。具体来说，SMP Assist驱动程序处理创建和管理快速几何着色器，视口状态和剪刀状态，而不是在应用程序中手动管理这些状态。

简化多分辨率和镜头匹配阴影

在VR头戴式耳机中，用户通常通过引起枕形失真的透镜来观看显示器。虚拟现实应用渲染桶形失真图像以反转镜头本身的枕形失真，从而在头戴式耳机中形成几何上正确的场景。桶形失真图像的周边区域显着收缩。NVIDIA VRWorks SDK包含  多分辨率着色  和镜头匹配着色等功能，允许应用程序开发人员利用桶形失真图像的非线性优势，减少渲染帧时所需的像素着色工作负载，同时保持视觉质量。

如图1所示，多分辨率着色（MRS）使用多个视口与剪刀矩形组合，以创建多分辨率投影。每个视口内的分辨率保持不变，而分辨率在不同的视口中变化。它们的排列方式可以使视口一起呈现场景的一个复杂的无缝投影。中央视口通常具有比周边视口更高的分辨率，从而更好地匹配桶失真图像并节省不必要的像素着色工作量。

图1：多分辨率阴影

镜头匹配阴影（LMS）使用多个视口结合剪形矩形和线性变换来创建镜头匹配投影，如图2所示。在镜头匹配投影中，三角形顶点在被下列光栅化之前进行变换转型：

w'= w + Ax + By

从概念上讲，这会在透视投影之前缩放剪辑空间中顶点的“w”坐标。顶点的剪辑空间“w”坐标可以作为“x”和“y”坐标的函数来偏移，这导致顶点被拉向视口的中心，其“x”和“y” “坐标是。仔细选择帧的四个象限中的每一个的系数A和B产生类似桶形失真的变形图像。

图2：镜头匹配阴影

这些功能中的每一个都需要应用程序根据所需的效果计算多个视口和剪刀。此外，对于透镜匹配着色，应用程序必须指定系数（上面公式中的A和B）。应用程序必须确保通过在图形管道中设置快速几何着色器（Fast Geometry Shader，FastGS）来正确渲染场景。该着色器通过计算视口掩码来剔除三角形并将其广播到正确的视口。

全新的NVIDIA SMP Assist API实现了驱动程序中的所有这些步骤，并为应用程序提供了简化的API，使MRS和LMS更容易集成到应用程序或游戏引擎中。

NVIDIA SMP Assist API

当前可用于DirectX11应用程序的SMP Assist API为应用程序提供了一个接口，用于指定VR应用程序使用的MRS / LMS配置。基于此配置，驱动程序在内部执行以下任务：

1. 计算视口和剪刀。

2. 创建一个FastGS，它将基元选取并投影到正确的视口中，以匹配需要在投影和未投影的坐标空间之间转换的着色器所需的常量缓冲区数据。

3. 计算镜头匹配阴影系数（如果适用）。

4. 驱动程序计算并维护各种渲染模式的上述状态 - 单声道，立体声，实例化立体声。（立体和立体渲染模式的计算假定应用程序在并排配置中渲染，即在单个渲染目标上渲染的两个眼图）。

应用程序可以根据实现的易用性与灵活性的折衷来选择协助级别

• 完整：应用程序通过从预先配置的列表中选择一个配置来指定配置，该列表针对当前可用的VR HMD进行了微调

• 部分：应用程序通过提供单个配置参数来指定配置，这对于支持新的或预生产VR头戴式显示器可能有用。

• 最小化：应用程序提供视口和剪刀，API处理相同的设置，而应用程序负责设置FastGS，GS常量缓冲区和LMS系数。

使用SMP Assist非常简单。只要MRS / LMS投影配置发生变化，应用程序就会调用API，最多每帧应该发生一次。然后，应用程序为需要应用MRS / LMS投影的框架部分启用SMP Assist。在随后的绘制调用中，驱动程序选择并设置上面1,2和3中描述的状态的适当版本，从而覆盖应用程序设置的视口和剪刀。禁用SMP Assist时，驱动程序会将其覆盖到原始状态的任何状态恢复为原始状态，并且以下绘制调用将使用通过常规DirectX API设置的状态。

该API还提供了获取内部计算数据的功能。这些数据可用于放大通过MRS / LMS渲染的图像。

图3突出显示了当前由应用程序执行并由SMP Assist API内部化的任务：

图3. SMP Assist API图

使用SMP Assist API

初始化SMP辅助

通过查询所需SMP功能（MRS / LMS）的平台支持，获取指向SMP Assist接口的指针以及使用此接口指针指定所需的配置（rendertarget大小等），可以初始化SMP Assist API。

NV_QUERY_SMP_ASSIST_SUPPORT_PARAMS QuerySMPAssist = {0};QuerySMPAssist.version = NV_QUERY_SMP_ASSIST_SUPPORT_PARAMS_VER;QuerySMPAssist.eSMPAssistLevel = NV_SMP_ASSIST_LEVEL_FULL;QuerySMPAssist.eSMPAssistType = NV_SMP_ASSIST_LMS;NvStatus = NvAPI_D3D_QuerySMPAssistSupport（pD3DDevice，＆QuerySMPAssist）;if（NvStatus！= NVAPI_OK || QuerySMPAssist.bSMPAssistSupported == false）{
     //查询失败}NV_SMP_ASSIST_INITIALIZE_PARAMS initParams = {0};ID3DNvSMPAssist * pD3DNvSMPAssist = NULL;initParams.version = NV_SMP_ASSIST_INITIALIZE_PARAMS_VER;initParams.eSMPAssistType = NV_SMP_ASSIST_LMS;initParams.eSMPAssistLevel = NV_SMP_ASSIST_LEVEL_FULL;initParams.flags = NV_SMP_ASSIST_FLAGS_DEFAULT;initParams.ppD3DNvSMPAssist =＆pD3DNvSMPAssist;NvStatus = NvAPI_D3D_InitializeSMPAssist（pD3DDevice，＆initParams）;if（NvStatus！= NVAPI_OK || pD3DNvSMPAssist == NULL）{
     // NvAPI_D3D_InitializeSMPAssist失败}NV_SMP_ASSIST_SETUP_PARAMS setupParams = {0};setupParams.version = NV_SMP_ASSIST_SETUP_PARAMS_VER;setupParams.eLMSConfig = NV_LMS_CONFIG_OCULUSRIFT_CV1_BALANCED;setupParams.resolutionScale = 1.0f;setupParams.boundingBox.TopLeftX = 0;setupParams.boundingBox.TopLeftY = 0;setupParams.boundingBox.Width = rt_width;setupParams.boundingBox.Height = rt_height;setupParams.boundingBox.MinDepth = 0.0;setupParams.boundingBox.MaxDepth = 1.0;NvStatus = pD3DNvSMPAssist-> SetupProjections（pD3DDevice，＆setupParams）;

返回的SMP Assist接口对象NvAPI_D3D_InitializeSMPAssist是一个单例。对NvAPI_D3D_InitializeSMPAssist的任何后续调用都会返回一个指向同一对象的指针。该对象由驱动程序响应NvAPI_D3D_InitializeSMPAssist应用程序的第一个调用而创建。驱动程序在应用程序退出时销毁对象。应用程序不应试图破坏对象。

用SMP辅助渲染

应用程序应该指出在渲染帧时是否要为即将来临的绘图调用启用/禁用SMP功能。因此，API设置适用于所有后续绘制调用的渲染状态（视口，剪刀，FastGS，LMS系数）

NV_SMP_ASSIST_ENABLE_PARAMS enableParams = {NV_SMP_ASSIST_ENABLE_PARAMS_VER，NV_SMP_ASSIST_EYE_INDEX_MONO};NV_SMP_ASSIST_DISABLE_PARAMS disableParams = {NV_SMP_ASSIST_DISABLE_PARAMS_VER};而（…）{
    ...
    NvStatus = pD3DNvSMPAssist->启用（pD3DContext，＆enableParams）;
    画（）; //在启用后，投影应用于所有绘图调用
    画（）;
    ...
    NvStatus = pD3DNvSMPAssist-> Disable（pD3DContext，＆disableParams）;
    画（）; //投影不适用于Disable后的任何绘图调用}

获取SMP辅助数据

应用程序调用ID3DNvSMPAssist::GetConstants 在初始化期间读取由API计算的数据。这包括用于指定VR渲染模式的视口/剪刀，FastGS常量缓冲区数据，投影大小和可用于展平通过的其他常数缓冲区数据。

NV_SMP_ASSIST_GET_CONSTANTS smpAssistConstants = {0};D3D11_VIEWPORT视口[NV_SMP_ASSIST_MAX_VIEWPORTS];D3D11_RECT剪刀[NV_SMP_ASSIST_MAX_VIEWPORTS];memset（视口，0，NV_SMP_ASSIST_MAX_VIEWPORTS * sizeof（D3D11_VIEWPORT））;memset（剪刀，0，NV_SMP_ASSIST_MAX_VIEWPORTS * sizeof（D3D11_RECT））;NV_SMP_ASSIST_FASTGSCBDATA fastGSCBData = {0};NV_SMP_ASSIST_REMAPCBDATA remapCBData = {0};smpAssistConstants.version = NV_SMP_ASSIST_GET_CONSTANTS_VER;smpAssistConstants.pViewports = viewports;smpAssistConstants.pScissors =剪刀;smpAssistConstants.eEyeIndex = NV_SMP_ASSIST_EYE_INDEX_MONO;smpAssistConstants.pFastGSCBData =＆fastGSCBData;smpAssistConstants.pRemapCBData =＆remapCBData;NvStatus = pD3DNvSMPAssist-> GetConstants（＆smpAssistConstants）;

实例化立体声注意事项

提供眼睛指数

由驱动程序设置的FastGS需要知道当应用程序以实例化立体模式呈现时，当前着色器实例是渲染左眼还是右眼。

VR应用程序必须确保世界空间着色器（Vertex / Hull / Domain）正确地将当前眼图（eyeIndex）传递给FastGS。应用程序还应该通过NvAPI_D3D11_CreateVertexShaderEx/ 创建最后的世界空间着色器（顶点/域），NvAPI_D3D11_CreateDomainShaderEx并指示眼睛索引变量是NvAPI_Packed_Eye_Index自定义语义。SMP Assist要求眼图索引变量是一个标量。

NvAPI_D3D11_CREATE_VERTEX_SHADER_EX CreateVSExArgs = {0};CreateVSExArgs.version = NVAPI_D3D11_CREATEVERTEXSHADEREX_VERSION;CreateVSExArgs.UseWithFastGS = true;CreateVSExArgs.UseSpecificShaderExt = false;CreateVSExArgs.NumCustomSemantics = 1;CreateVSExArgs.pCustomSemantics =（NV_CUSTOM_SEMANTIC *）malloc（（sizeof（NV_CUSTOM_SEMANTIC））* CreateVSExArgs.NumCustomSemantics）;memset（CreateVSExArgs.pCustomSemantics，0，（sizeof（NV_CUSTOM_SEMANTIC））* CreateVSExArgs.NumCustomSemantics）;CreateVSExArgs.pCustomSemantics [0] .version = NV_CUSTOM_SEMANTIC_VERSION;CreateVSExArgs.pCustomSemantics [0] .NVCustomSemanticType = NV_PACKED_EYE_INDEX_SEMANTIC;strcpy_s（＆（CreateVSExArgs.pCustomSemantics [0] .NVCustomSemanticNameString [0]），NVAPI_LONG_STRING_MAX，“EYE_INDEX”）;NvStatus = NvAPI_D3D11_CreateVertexShaderEx（pD3DDevice，pVSBlob-> GetBufferPointer（），pVSBlob-> GetBufferSize（），NULL，＆CreateVSExArgs，＆pVertexShaderInstancedStereo）;

不要忘记着色器HLSL文件：

结构VS_OUTPUT{
    ...
    uint eyeIndex：EYE_INDEX;};

如果您希望FastGS将当前实例渲染到左眼，请将eyeIndex的LSB设置为0。否则，FastGS将渲染到右眼。

避免着色器修改

实例立体渲染涉及根据在当前着色器实例中呈现的眼睛视图来移位顶点。但是，LMS要求应用程序不执行这种顶点移动。这意味着应用程序可能必须修改顶点着色器，以确保在LMS情况下顶点不会移位。

SMP Assist提供了一个API，  UpdateInstancedStereoData可用于撤销应用程序着色器代码执行的顶点移位。该应用程序不需要修改上述LMS特定要求的着色器代码。应用程序只需提供正确的系数给这个API。这些系数将用于实现该公式以逆转由应用程序的着色器代码完成的顶点移动。

考虑以下顶点着色器片段：

VSOutput主（在顶点i_vtx中，在uint中i_instance：SV_InstanceID，...）{...
     #if STEREO_MODE == STEREO_MODE_INSTANCED
     uint eyeIndex = i_instance＆1;
     output.eyeIndex = eyeIndex;
     output.posClip = mul（pos，eyeIndex == 0？g_matWorldToClip：g_matWorldToClipR）;
     //将几何图形移动到正确的眼睛
     output.posClip.x * = 0.5;
     float eyeOffsetScale = eyeIndex == 0？-0.5：0.5;
     output.posClip.x + = eyeOffsetScale * output.posClip.w;
     ...}

在上面的着色器中完成逆转顶点移动的公式是：

output.posClip.x = (output.posClip.x - eyeOffsetScale * output.posClip.w ) / 0.5 = 2.0 * output.posClip.x + (-eyeOffsetScale * 2.0) * output.posClip.w

左眼：

output.posClip.x = 2.0 * output.posClip.x + 1.0 * output.posClip.w = dotproduct( output.posClip, float4(2.0, 0.0, 0.0, 1.0))

右眼：

output.posClip.x = 2.0 * output.posClip.x - 1.0 * output.posClip.w = dotproduct(output.posClip, float4(2.0, 0.0, 0.0, -1.0))

左/右眼视图x分量的方程可以看作顶点位置和大小为4的向量之间的点积。

由SMP Assist实施的等式每个眼睛视图有5个值：具有顶点位置的点积的4个系数和添加到点积的结果的第5个值。

NV_SMP_ASSIST_UPDATE_INSTANCEDSTEREO_DATA_PARAMS instancedStereoParams = {0};instancedStereoParams.version = NV_SMP_ASSIST_UPDATE_INSTANCEDSTEREO_DATA_PARAMS_VER;instancedStereoParams.eSMPAssistType = NV_SMP_ASSIST_LMS;//左眼：pos.x = dotproduct（pos，leftCoeffs）+ leftConstinstancedStereoParams.leftCoeffs [0] = 2.0f;instancedStereoParams.leftCoeffs [1] = 0.0f;instancedStereoParams.leftCoeffs [2] = 0.0f;instancedStereoParams.leftCoeffs [3] = 1.0f;instancedStereoParams.leftConst = 0.0f;//右眼：pos.x = dotproduct（pos，rightCoeffs）+ rightConstinstancedStereoParams.rightCoeffs [0] = 2.0f;instancedStereoParams.rightCoeffs [1] = 0.0f;instancedStereoParams.rightCoeffs [2] = 0.0f;instancedStereoParams.rightCoeffs [3] = -1.0f;instancedStereoParams.rightConst = 0.0f;status = m_activeSMPAssist-> UpdateInstancedStereoData（m_pDevice，＆instancedStereoParams）;

应用程序应UpdateInstancedStereoData在SMP Assist成功初始化后调用

更容易的VR编程

NVIDIA驱动程序内置的SMP Assist API使开发人员能够更轻松地实现多分辨率着色和镜头匹配着色，这些关键功能使虚拟现实更易于使用和用户友好。如果您目前不是NVIDIA开发人员并想查看VRWorks，注册非常简单 - 只需点击NVIDIA开发者主页上方的“加入”按钮即可。SMP Assist API需要NVIDIA显卡驱动程序版本397.31及更高版本。最新的VRWorks Graphics SDK 2.6版本包含一个示例应用程序和编程指南，如果您已经拥有NVIDIA开发人员帐户，则可以通过SMP Assist进行演示。