Skip to content

feat(rkmpp): 新增 RK33xx/RK3399 硬件编码兼容支持与性能优化 - #332

Open
toss-a wants to merge 1 commit into
mofeng-git:mainfrom
toss-a:pr/rk33xx-support
Open

toss-a wants to merge 1 commit into
mofeng-git:mainfrom
toss-a:pr/rk33xx-support

Conversation

@toss-a

@toss-a toss-a commented Nov 15, 2026

Copy link
Copy Markdown

背景与问题

在 RK3399(Linux 4.19 BSP)等 RK33xx 平台上测试 RKMPP 硬件编码时,遇到了以下兼容与性能问题:

  1. 硬件检测覆盖不足:部分旧 BSP/内核节点使用 /dev/vpu_service、/dev/vepu、/dev/rkvenc 等设备节点,导致 linux_support_rkmpp() 漏检。
  2. FFmpeg h264_rkmpp / MJPEG 解码管线兼容与性能问题:
    • FFmpeg 硬件 MJPEG->H.264 管线在 RK3399 上运行时会报错(avcodec_send_packet / avcodec_send_frame 失败),需要自动回退路径;
    • RK3399 硬件 MJPEG 解码单帧耗时约 52.8ms(上限 ~18.9 FPS),而多核 NEON turbojpeg 解码 + 硬件 H.264 编码(~29.5ms)可稳定达到 28 FPS。
  3. YUYV 1080p DMABUF 步长对齐与开局花屏问题:
    • RK3399 hal_h264e_vepu_v2 要求 ver_stride 16 字节对齐(1088 行,需要 0x3fc000 字节),而 USB UVC 采集卡分配的 V4L2 DMABUF 只有 1920*1080*2 = 0x3f4800 字节,导致开局数秒持续报错并花屏后才回退,回退后的 FFmpeg h264_rkmpp 同样存在未对齐问题(仅 ~20 FPS)。

修改内容

  • 扩展 RKMPP 设备节点检测(libs/hwcodec/cpp/common/platform/linux/linux.cpp):补充 /dev/vpu_service、/dev/rkvenc、/dev/vepu、/dev/rga。
  • 完善 DMABUF 对齐与缓冲组回退(libs/hwcodec/cpp/ffmpeg_hw/rkmpp_dmabuf.cpp):
    • 增加 DRM|CACHABLE -> DRM -> ION -> NORMAL 缓冲组回退及非致命超时控制;
    • 为非 JPEG DMABUF 帧补充 DMA_BUF_SYNC_RW/END 同步;
    • 针对 RK33xx 强制按 16 对齐 ver_stride 校验 DMABUF 容量,容量不足时在初始化阶段立即快速回退,消除开局卡顿与越界警告。
  • 新增原生 MPP C API 回退管线(libs/hwcodec/cpp/ffmpeg_hw/rkmpp_native.cpp、libs/hwcodec/src/rkmpp_native.rs):
    • 提供乒乓双缓冲异步流水线的 NativeMppMjpegH264 与 16 对齐的 NativeMppEncoder(含 mpp_buffer_sync_end 缓存刷写)。
  • RK33xx 自适应默认策略(不影响 RK35xx 原有路径)(src/video/pipeline/encoder_state.rs):
    • 通过 /proc/device-tree/compatible 识别 rk33xx 后,MJPEG 默认启用 turbojpeg 并行解码 + 原生 MPP 编码(支持 ONE_KVM_RKMPP_MODE=native|ffmpeg|turbojpeg 覆盖);YUYV/原始帧优先使用 16 对齐的 NativeMppEncoder。
  • 丢弃 UVC 启动预热帧(src/video/capture/linux.rs):STREAMON 后默认丢弃前 3 帧(可通过 ONE_KVM_UVC_WARMUP_FRAMES 配置)。

实测结果(NanoPC-T4 / RK3399 + USB3 HDMI 采集卡 1920x1080)

  • MJPEG -> H.264:开箱即达 28 FPS,CPU 整体空闲率 ~77%。
  • YUYV 4:2:2 -> H.264:消除开局花屏与卡顿,帧率由 ~20 FPS 提升至 ~34 FPS(已达到 RK3399 vepu_v2 300MHz 硬件编码吞吐上限)。
5e7677c047e9a8fec2f949428a92046f

但是根据我的实测硬编码没有直接使用CPU帧率高。

…16-aligned handling

Summary of changes:
- Broaden RKMPP device detection in linux_support_rkmpp() to include legacy BSP nodes (/dev/vpu_service, /dev/rkvenc, /dev/vepu, /dev/rga) alongside /dev/mpp_service.
- Add non-fatal MPP buffer group fallback (DRM|CACHABLE -> DRM -> ION -> NORMAL) and timeout controls in rkmpp_dmabuf.cpp, plus DMA_BUF_SYNC_RW/END flush for non-JPEG DMABUF frames.
- Enforce 16-aligned ver_stride and buffer size validation on RK33xx in rkmpp_dmabuf.cpp so undersized V4L2 buffers (e.g., 1080p YUYV 0x3f4800 < 0x3fc000) fail fast at init instead of faulting/stalling.
- Add NativeMppMjpegH264 (ping-pong overlapped MJPEG->NV12->H.264) and NativeMppEncoder (16-aligned raw->H.264 with mpp_buffer_sync_end cache flush) in rkmpp_native.cpp as runtime/init fallback when FFmpeg h264_rkmpp fails.
- Auto-detect RK33xx (/proc/device-tree/compatible) in encoder_state.rs to default MJPEG to parallel TurboJPEG decode + aligned NativeMppEncoder (overridable via ONE_KVM_RKMPP_MODE=native|ffmpeg|turbojpeg) without altering RK35xx behavior.
- Drop initial UVC warmup frames after STREAMON (configurable via ONE_KVM_UVC_WARMUP_FRAMES, default 3).
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant