Skip to main content

DshanPI-A1测评第二篇:手势识别编程环境搭建与屏幕调试

· 6 min read

本次测评我将会安装手势识别系统的必要工具和调试屏幕

硬件与环境准备​

在开始之前，我们先明确手头的装备和环境：

  • 核心板：Dshanpi-A1，主控为瑞芯微RK3576芯片。

  • 屏幕：一块480x800分辨率的MIPI屏幕。

  • 系统：Buildroot Linux系统。

  • 官方的SDK

安装开发工具​

下面是本次的清单：

软件包/配置类别推荐选项与作用
Python环境python3: 核心解释器。 python-pip: 用于安装未包含在Buildroot中的Python包。 python-numpy: 为OpenCV等库提供高效的数值计算支持。 python-setuptools: 一些Python包的基础构建依赖。
计算机视觉与图像处理opencv4: 务必启用 python3 支持。提供核心的计算机视觉库，用于图像处理和手势识别算法。 opencv4 贡献模块: 包含额外的、更先进的算法。
摄像头与显示支持gstreamer1 及相关插件: 构建摄像头图像采集和屏幕显示的管道。 gst1-plugins-base, gst1-plugins-good, gst1-plugins-bad, gst1-plugins-ugly: 提供丰富的编解码器和功能元件。 gst1-python: 允许在Python中创建和操作GStreamer管道。

SDK配置流程​

1. 选择芯片类型​

./build.sh chip

img

img

2. 进入buildroot配置​

cd buildroot
make menuconfig

img

3. 选择Target packages​

img

4. 安装Python环境​

当找不到安装路径时，可按/键进入搜索：

img

输入python3进行搜索：

img

进入显示的Location路径进行配置：

img

img

5. 保存配置并编译​

make

回到SDK主目录运行：

./build.sh rootfs
./build.sh updateimg

最后烧录运行到开发板

开发板调试​

检查工具安装情况​

python3 --version
pip3 --version
python3 -c "import numpy; print('NumPy version:', numpy.__version__)"
python3 -c "import cv2; print('OpenCV version:', cv2.__version__)"

img

屏幕调试​

问题分析​

系统已运行Weston合成器，这意味着我们有一个图形界面环境。尝试直接操作FrameBuffer(/dev/fb0)无效，因为Weston已占用显示接口。

通过系统检查发现：

  • /dev/fb0设备存在
  • 屏幕状态为connected
  • 分辨率为480x800

img

解决方案：GStreamer + Wayland​

GStreamer基础测试​

gst-launch-1.0 videotestsrc pattern=smpte ! video/x-raw,width=480,height=800 ! waylandsink sync=false

img

摄像头直连显示测试​

gst-launch-1.0 v4l2src device=/dev/video11 ! video/x-raw,width=640,height=480 ! videoconvert ! waylandsink sync=false

img

注意：请将device参数替换为您的摄像头设备节点

测试脚本​

#!/usr/bin/env python3
# fixed_display_test.py

import subprocess
import time
import os

def check_camera_devices():
    """检查可用的摄像头设备"""
    print("=== 摄像头设备检查 ===")
    
    try:
        # 使用v4l2-ctl检查设备
        result = subprocess.run(["v4l2-ctl", "--list-devices"],
                        capture_output=True, text=True)
        if result.returncode == 0:
            print("找到的视频设备:")n            print(result.stdout)
        else:
            print("v4l2-ctl命令执行失败")
    except Exception as e:
        print(f"检查摄像头设备失败: {e}")

    # 测试常见的摄像头设备
    camera_devices = ["/dev/video11", "/dev/video0", "/dev/video1", "/dev/video2"]
    print("\n测试摄像头设备:")
    
    for device in camera_devices:
        if os.path.exists(device):
            print(f"测试设备: {device}")
            try:
                # 尝试使用GStreamer测试摄像头
                cmd = [
                  "gst-launch-1.0",
                  "-v",
                  "v4l2src", f"device={device}", "!", 
                  "video/x-raw,width=640,height=480,framerate=15/1", "!",
                  "videoconvert", "!", 
                  "waylandsink", "sync=false"
                ]
                
                process = subprocess.Popen(cmd)
                time.sleep(3) # 显示3秒
                process.terminate()
                process.wait()
                print(f" {device}: 摄像头工作正常")
                return device
            
            except Exception as e:
                print(f"{device}: 测试失败 - {e}")
        else:
            print(f"{device}: 设备不存在")
    
    return None

def test_static_patterns():
    """测试静态图案（不会变化）"""
    print("\n=== 静态图案测试 ===")

    # 设置Wayland环境
    os.environ['WAYLAND_DISPLAY'] = 'wayland-0'

    # 测试静态图案（不会变化）
    static_patterns = [
        ("smpte100", "SMPTE 100%色彩条"),
        ("ball", "时钟图案"),
        ("blink", "闪烁图案"),
        ("pinwheel", "风车图案"),
        ("spokes", "辐条图案"),
    ]

    for pattern, description in static_patterns:
        print(f"显示: {description}")
        try:
            cmd = [
                "gst-launch-1.0",
                "videotestsrc", f"pattern={pattern}", "!",
                "video/x-raw,width=480,height=800,framerate=15/1", "!",
                "waylandsink", "sync=false"
            ]
            
            process = subprocess.Popen(cmd)
            time.sleep(3)
            process.terminate()
            process.wait()
            print(f"{description} 显示成功")
        
        except Exception as e:
            print(f"{description} 显示失败: {e}")

def test_custom_resolution():
    """测试自定义分辨率显示"""
    print("\n=== 自定义分辨率测试 ===")

    resolutions = [
        (480, 800, "竖屏 480x800"),
        (800, 480, "横屏 800x480"),
        (640, 480, "标准 640x480"),
        (400, 800, "竖屏 400x800"),
    ]

    for width, height, desc in resolutions:
        print(f"测试分辨率: {desc}")
        try:
            cmd = [
                "gst-launch-1.0",
                "videotestsrc", "pattern=smpte100", "!",
                f"video/x-raw,width={width},height={height},framerate=15/1", "!",
                "videoconvert", "!",
                "waylandsink", "sync=false"
            ]
            
            process = subprocess.Popen(cmd)
            time.sleep(2)
            process.terminate()
            process.wait()
            print(f" {desc} 显示成功")
        
        except Exception as e:
            print(f" {desc} 显示失败: {e}")

if __name__ == "__main__":
    print("=" * 50)

    # 1. 检查摄像头
    camera_device = check_camera_devices()

    # 2. 测试静态图案
    test_static_patterns()

    # 3. 测试不同分辨率
    test_custom_resolution()

    print("\n" + "=" * 50)
    if camera_device:
        print(f"可用的摄像头设备: {camera_device}")
    else:
        print("未找到可用的摄像头设备")
    print("所有测试完成")

img

img

运行结果​

image-20251222165424798

image-20251222165428939

演示视频我会放在附件里面

番外篇：FileZilla文件传输​

FileZilla连接设置​

FileZilla - The free FTP solution

检查SSH服务​

ss -tuln | grep 22

img

网络共享设置​

img

img

img

选择能上网的网络，点击属性：

img

image-20251222165505322

连接开发板​

ifconfig

img

使用FileZilla连接：

  • IP：开发板IP地址
  • 用户名：root
  • 密码：rockchip
  • 端口：22

总结​

回顾整个调试过程，以下几个关键点值得特别注意：

  1. 显示路径选择：在运行Weston这类合成器的系统上，优先使用GStreamer + waylandsink的方案来显示图像，而非直接操作FrameBuffer。

  2. 摄像头设备节点：务必使用v4l2-ctl --list-devices命令确认摄像头对应的设备节点，并在代码中正确指定。

  3. 屏幕分辨率：注意系统识别到的屏幕分辨率（可通过cat /sys/class/drm/card0-DSI-1/modes查询）可能与物理分辨率略有不同，在创建显示帧时需以此为准或进行调整。

至此，我们成功地在Dshanpi A1开发板上搭建起了手势识别的编程环境，并解决了MIPI屏幕和摄像头的显示问题。虽然过程曲折，但为后续实际编写手势识别算法奠定了坚实的基础。希望我的这些经验能对大家有所帮助！