基于STM32N6和VD66GY的机器视觉解决方案
一、方案介绍
该方案基于主控平台STM32N6搭配ST的VD66GY图像传感器来监测人体姿势。该系统利用VD66GY传感器采集环境图像数据，然后通过STM32N6处理器进行处理，以进行高效的图像分析和开发。
二.主要部件介绍
STM32N6 基于 Arm Cortex-M55 的微控制器，配备 ST Neuro-ART 加速器、H264 编码器、Neo-Chrom 2.5D 图形处理器、用于实时数据处理和多任务处理的 4.2MB 连续静态随机存取存储器、专用嵌入式神经处理单元（600 GOPS NPU 和 3 TOPS/W 功耗）、支持 5 个图像处理器 ISP（并行和 MIPI CSI-2 相机模块 I/F） Mpixel 相机和 30 FPS、坏像素、下采样、黑电平、曝光、去马赛克、列转换、对比度、裁剪、缩放、伽马值、像素打包。
工程师可以将机器学习推理处理任务分配给NPU，让高效的Cortex-M处理器、ISP和GPU专注于其他系统级任务或运行用户应用程序。这使其能够处理复杂的图像识别和处理任务，例如对象分割和定位、姿态估计、对象分类、面部/检测、异常检测等。
ST官网提供各种开发套件和工具，并拥有自己的讨论社区和wiki，为用户提供丰富的资源和免费的开发环境。
图像传感器 - ST VD66GY
1.5M BSI传感器（1124x1364），提供RGB和RGB-IR配置模式，动态范围为60dB，像素尺寸为2.61μm，在可见光和近红外区域（940nm）表现出色。这些传感器每秒可捕获高达 88 帧，分辨率为 1124x1364，并提供两种像素矩阵版本：RGB 2x2 核心和 RGB-NIR 4x4 核心。这些器件的像素结构最大限度地减少了串扰，并在可见光和红外区域保持高 MTF（调制传递函数）。
ST还提供VD66GY S-Board，可直接与STM32N6配对开发，提供从原型到量产的支持。这不仅节省了资源，还加快了产品上市时间。
VD66GY S-Board 是一款全面的多功能硬件套件，用于评估和集成 VD66GY 图像传感器。它包括从电子元件到光学设备的所有必要硬件，以执行全面的产品评估或将产品直接集成到系统的其余部分。它包含一个带 FFC 输出连接器的 VD66GY 图像传感器、一个 M12 镜头安装座、一个默认的非胶合镜头和一根带状电缆。套件中的非胶合镜头可以根据您的需求灵活调焦，也可以简单地拆下以使用不同的镜头。该套件配备 M12 镜头接口，允许根据您的应用定制各种 M12 或更小的现成镜头。其标准 FFC 连接器可连接各种长度或引脚排列的电缆，以满足您的设置。
三．主要功能及应用
VD66GY图像传感器收集前向图像数据，STM32N6执行推理任务来识别和处理图像中的对象类型，以进行相应的功能设计。基于STM32N6控制器和VD66GY传感器的高性能特点，我们可以进一步扩展其应用范围和功能：智能工业中的异常检测、智能家居中的事件监控、个人医疗保健中的身体数据测量、机器人的碰撞检测、汽车的环境感知以及个人电子产品和运动器材的开发。这不仅提高了现有工业和商业应用的效率和质量，而且拓展了更广泛的智能技术应用领域，为未来的技术创新奠定了坚实的基础。
此外，利用STM32N6的边缘计算和人工智能技术（人员检测、姿势估计、手势特征）可以增强产品的应用服务范围：
在各种环境下进行长距离高精度人员检测：智能门铃、房间占用检测和报警系统。
高精度多姿势估计：行为分析、活动监测、跌倒检测。
基于手部特征点的精准系统控制：非接触式人机界面、智能电子行业。
► 场景应用图
► 产品实体图
►规划框图
► 核心技术优势
STM32N6：
• 基于 Arm Cortex-M55 的微控制器，配备 ST 神经 ART 加速器、H264 编码器、Neo-Chrom 2.5D 图形处理器、用于实时数据处理和多任务处理的 4.2MB 连续静态随机存取存储器、专用嵌入式神经处理单元（600 GOPS NPU 和 3 TOPS/W 功耗）、支持并行和 MIPI CSI-2 相机模块接口的图像信号处理器 (ISP)，适用于 5 Mpixel 相机和 30 FPS、坏像素校正、下采样、黑电平校正、曝光、去马赛克、列转换、对比度、裁剪、缩放、伽玛值和像素打包。
VD66GY：
• 1.5M BSI 传感器（1124x1364），可配置RGB 和RGB-IR 模式，动态范围高达60DB，像素尺寸为2.61μm，在可见光和近红外区域（940 纳米）表现良好。这些传感器每秒可捕获高达 88 帧，分辨率为 1124x1364，并提供两种像素矩阵版本：RGB 2x2 核心和 RGB-NIR 4x4 核心。全局快门 CIS 适用于机器视觉，确保运动过程中捕获的图像不失真，从而进行完整的图像分析。