PAYATHON 2026

AImageReader 采样 RGB/BGR 互换如何修复?

数据小陈

问题主要出在 YCbCr sampler 的配置,AImageReader 本身可以排除。使用 VK_SAMPLER_YCBCR_MODEL_CONVERSION_YCBCR_IDENTITY 时,Vulkan 不执行 YCbCr 到 RGB 的转换,shader 里 texture(cam, uv).rgb 拿到的是原始采样分量,不能当成标准 RGB 使用。Adreno 上外部格式的通道映射与其他设备不同,会表现为 R/B 互换。建议改用 AIMAGE_FORMAT_YUV_420_888,并让 Vulkan 的 VkSamplerYcbcrConversion 按 formatInfo.suggestedYcbcrModel 和 samplerYcbcrConversionComponents 完成转换;如果仍有设备差异,再根据 components 或设备 uniform 做通道交换。

原因说明

  • AIMAGE_FORMAT_PRIVATE 可能被设备映射为专有压缩格式,直接采样不可靠,不适合作为通用方案。
  • AIMAGE_FORMAT_YUV_420_888 虽然保证支持,但通过 VkExternalFormatANDROID 导入时,实际通道布局由外部格式决定。
  • 当 ycbcrModel 为 VK_SAMPLER_YCBCR_MODEL_CONVERSION_YCBCR_IDENTITY 时,Vulkan 不执行 YCbCr 到 RGB 的矩阵转换;除非在 shader 中手动转换,否则不能直接使用 .rgb。
  • 同时设置 externalFormat 和 format = formatInfo.format 也可能不符合规范;当 externalFormat 非零时,VkSamplerYcbcrConversionCreateInfo.format 应使用 VK_FORMAT_UNDEFINED。
  • 验证层不报错只说明用法在 API 层面合法,不保证通道语义符合预期。

解决步骤

  1. 相机输出固定使用 AIMAGE_FORMAT_YUV_420_888,并保留 AHARDWAREBUFFER_USAGE_GPU_SAMPLED_IMAGE。
  2. 每帧拿到 AHardwareBuffer 后,用 vkGetAndroidHardwareBufferPropertiesANDROID 查询 VkAndroidHardwareBufferFormatPropertiesANDROID。
  3. 创建 VkSamplerYcbcrConversion 时:
    • format 设为 VK_FORMAT_UNDEFINED(externalFormat 非零时)。
    • ycbcrModel 使用 formatInfo.suggestedYcbcrModel,不要用 IDENTITY,除非你确实要在 shader 中手动做 YCbCr 转换。
    • ycbcrRange、components、xChromaOffset、yChromaOffset 使用查询到的建议值。
  4. sampler 继续用 immutable sampler,并挂上 VkSamplerYcbcrConversionInfo。
  5. shader 中如果 conversion 配置正确,texture(cam, uv).rgb 应得到转换后的 RGB。若 Adreno 上仍 R/B 互换,先打印 formatInfo.samplerYcbcrConversionComponents,确认是否需要在创建 conversion 时交换 r/b 映射,或用设备相关的 uniform 在 shader 中交换。

修正后的 conversion 示例

VkExternalFormatANDROID externalFormat{};
externalFormat.sType = VK_STRUCTURE_TYPE_EXTERNAL_FORMAT_ANDROID;
externalFormat.externalFormat = formatInfo.externalFormat;

VkSamplerYcbcrConversionCreateInfo convInfo{};
convInfo.sType = VK_STRUCTURE_TYPE_SAMPLER_YCBCR_CONVERSION_CREATE_INFO;
convInfo.pNext = &externalFormat;
convInfo.format = VK_FORMAT_UNDEFINED;
convInfo.ycbcrModel = formatInfo.suggestedYcbcrModel;
convInfo.ycbcrRange = formatInfo.suggestedYcbcrRange;
convInfo.components = formatInfo.samplerYcbcrConversionComponents;
convInfo.xChromaOffset = formatInfo.suggestedXChromaOffset;
convInfo.yChromaOffset = formatInfo.suggestedYChromaOffset;
convInfo.chromaFilter = VK_FILTER_NEAREST;
convInfo.forceExplicitReconstruction = VK_FALSE;

如果确认问题只在 Adreno 上表现为 B/R 互换,可以做一个诊断性修正:

VkComponentMapping comps = formatInfo.samplerYcbcrConversionComponents;
// 诊断用:确认 Adreno 上需要交换 r/b 时再启用
// std::swap(comps.r, comps.b);
convInfo.components = comps;

更稳妥的做法是不要在每个 shader 写死 .bgr,而是根据设备能力或查询结果决定是否交换。例如在 fragment shader 中使用一个 uniform 控制:

layout(binding = 1) uniform sampler2D cam;
layout(push_constant) uniform Push {
    int swapRB;
} pc;

void main() {
    vec3 c = texture(cam, uv).rgb;
    if (pc.swapRB != 0) {
        c = c.bgr;
    }
    outColor = vec4(c, 1.0);
}

注意事项

  • 如果 externalFormat 非零,VkSamplerYcbcrConversionCreateInfo.format 必须是 VK_FORMAT_UNDEFINED,不要混用 formatInfo.format。
  • 使用外部格式创建 VkImage/VkImageView 时,也要保持与 sampler 相同的 external format 和 conversion 语义。
  • 手动 YCbCr 转换需要严格按 components 取通道,不能假设 texture(...).rgb 就是 Y/Cb/Cr。
  • 先用已知颜色图案做一次通道测试,确认是 R/B 交换而不是 YCbCr 模型或 range 配置错误。
  • 不要用 AIMAGE_FORMAT_PRIVATE 作为跨设备回退方案,它可能包含压缩数据。

备注:内容仅供参考。