AImageReader 采样 RGB/BGR 互换如何修复?
数据小陈
问题主要出在 YCbCr sampler 的配置,AImageReader 本身可以排除。使用 VK_SAMPLER_YCBCR_MODEL_CONVERSION_YCBCR_IDENTITY 时,Vulkan 不执行 YCbCr 到 RGB 的转换,shader 里 texture(cam, uv).rgb 拿到的是原始采样分量,不能当成标准 RGB 使用。Adreno 上外部格式的通道映射与其他设备不同,会表现为 R/B 互换。建议改用 AIMAGE_FORMAT_YUV_420_888,并让 Vulkan 的 VkSamplerYcbcrConversion 按 formatInfo.suggestedYcbcrModel 和 samplerYcbcrConversionComponents 完成转换;如果仍有设备差异,再根据 components 或设备 uniform 做通道交换。
原因说明
AIMAGE_FORMAT_PRIVATE可能被设备映射为专有压缩格式,直接采样不可靠,不适合作为通用方案。AIMAGE_FORMAT_YUV_420_888虽然保证支持,但通过VkExternalFormatANDROID导入时,实际通道布局由外部格式决定。- 当
ycbcrModel为VK_SAMPLER_YCBCR_MODEL_CONVERSION_YCBCR_IDENTITY时,Vulkan 不执行 YCbCr 到 RGB 的矩阵转换;除非在 shader 中手动转换,否则不能直接使用.rgb。 - 同时设置
externalFormat和format = formatInfo.format也可能不符合规范;当externalFormat非零时,VkSamplerYcbcrConversionCreateInfo.format应使用VK_FORMAT_UNDEFINED。 - 验证层不报错只说明用法在 API 层面合法,不保证通道语义符合预期。
解决步骤
- 相机输出固定使用
AIMAGE_FORMAT_YUV_420_888,并保留AHARDWAREBUFFER_USAGE_GPU_SAMPLED_IMAGE。 - 每帧拿到
AHardwareBuffer后,用vkGetAndroidHardwareBufferPropertiesANDROID查询VkAndroidHardwareBufferFormatPropertiesANDROID。 - 创建
VkSamplerYcbcrConversion时:format设为VK_FORMAT_UNDEFINED(externalFormat非零时)。ycbcrModel使用formatInfo.suggestedYcbcrModel,不要用IDENTITY,除非你确实要在 shader 中手动做 YCbCr 转换。ycbcrRange、components、xChromaOffset、yChromaOffset使用查询到的建议值。
- sampler 继续用 immutable sampler,并挂上
VkSamplerYcbcrConversionInfo。 - shader 中如果 conversion 配置正确,
texture(cam, uv).rgb应得到转换后的 RGB。若 Adreno 上仍 R/B 互换,先打印formatInfo.samplerYcbcrConversionComponents,确认是否需要在创建 conversion 时交换 r/b 映射,或用设备相关的 uniform 在 shader 中交换。
修正后的 conversion 示例
VkExternalFormatANDROID externalFormat{};
externalFormat.sType = VK_STRUCTURE_TYPE_EXTERNAL_FORMAT_ANDROID;
externalFormat.externalFormat = formatInfo.externalFormat;
VkSamplerYcbcrConversionCreateInfo convInfo{};
convInfo.sType = VK_STRUCTURE_TYPE_SAMPLER_YCBCR_CONVERSION_CREATE_INFO;
convInfo.pNext = &externalFormat;
convInfo.format = VK_FORMAT_UNDEFINED;
convInfo.ycbcrModel = formatInfo.suggestedYcbcrModel;
convInfo.ycbcrRange = formatInfo.suggestedYcbcrRange;
convInfo.components = formatInfo.samplerYcbcrConversionComponents;
convInfo.xChromaOffset = formatInfo.suggestedXChromaOffset;
convInfo.yChromaOffset = formatInfo.suggestedYChromaOffset;
convInfo.chromaFilter = VK_FILTER_NEAREST;
convInfo.forceExplicitReconstruction = VK_FALSE;
如果确认问题只在 Adreno 上表现为 B/R 互换,可以做一个诊断性修正:
VkComponentMapping comps = formatInfo.samplerYcbcrConversionComponents;
// 诊断用:确认 Adreno 上需要交换 r/b 时再启用
// std::swap(comps.r, comps.b);
convInfo.components = comps;
更稳妥的做法是不要在每个 shader 写死 .bgr,而是根据设备能力或查询结果决定是否交换。例如在 fragment shader 中使用一个 uniform 控制:
layout(binding = 1) uniform sampler2D cam;
layout(push_constant) uniform Push {
int swapRB;
} pc;
void main() {
vec3 c = texture(cam, uv).rgb;
if (pc.swapRB != 0) {
c = c.bgr;
}
outColor = vec4(c, 1.0);
}
注意事项
- 如果
externalFormat非零,VkSamplerYcbcrConversionCreateInfo.format必须是VK_FORMAT_UNDEFINED,不要混用formatInfo.format。 - 使用外部格式创建
VkImage/VkImageView时,也要保持与 sampler 相同的 external format 和 conversion 语义。 - 手动 YCbCr 转换需要严格按
components取通道,不能假设texture(...).rgb就是 Y/Cb/Cr。 - 先用已知颜色图案做一次通道测试,确认是 R/B 交换而不是 YCbCr 模型或 range 配置错误。
- 不要用
AIMAGE_FORMAT_PRIVATE作为跨设备回退方案,它可能包含压缩数据。
备注:内容仅供参考。
