意法半导体SL-SNPSN011701V1人体存在检测方案是采用在STM32上运行基于卷积神经网路(CNN) 的计算机视觉应用程序
解决方案说明
人体存在检测技术旨在确定一个人是否存在于给定区域，对于跨越用户界面、安全性和安全性的广泛应用非常有用。它还可用于通过在有人进出房间时打开/关闭灯光或在您接近恒温器控制面板时打开屏幕来主动管理能源消耗。
如今，对智能家居和智能建筑解决方案的需求不断增加，以帮助降低能源成本、提供安全性并发现改进服务的机会。人体存在检测应用程序是一种可靠且经济实惠的方式来触发预先确定的操作以增强用户体验，例如识别办公室或公共图书馆中的空工作区，这对于当今大流行后世界中的社交距离特别有用。
除了确保能够立即采取行动或可信安全警报的准确度之外，挑战还在于简化软件开发和硬件设计，特别是对于具有处理、内存和功率限制的基于电池的设备。我们的解决方案通过在具有成本效益的超低功耗 STM32 微控制器上利用人工智能来解决成本和设计问题。
运作方式
该系统从低分辨率图像传感器捕获数字视频，并确保高性能双核 STM32H7 微控制器根据深度神经网络生成的输出运行基于边缘的人体存在检测应用程序 (FP-AI-VISION1) 进行高效处理针对 STM32 优化的网络 (DNN, deep neural networks)。
然后，MCU 通过连接的 LCD 屏幕或网络显示是否在指定区域检测到人员以及捕获的视频。所需的占用空间非常小，允许在同一微控制器上添加由人员检测触发的多个附加功能，包括但不限于人员检测和计数、通过外围设备驱动以及通过多个连接选项传输信息。
结果是一种经济高效且低功耗的解决方案，用于基于对象检测算法检测人体存在，该算法使用针对 STM32 优化的卷积神经网络 (CNN, convolutional neural network) 模型拓扑。
STM32H747XIH6 - 高性能、双核微控制器，带DSP和DP-FPU指令
这款具有Arm® Cortex-M7®和Cortex-M4®内核的微控制器具有必要的外设来管理传入的数字视频信号以及处理能力和记忆体，以确保以最小的功耗快速准确地计算人数应用。
FP-AI-VISION1 - 适用于电脑视觉人工智能（AI）应用的STM32Cube功能包
该软体使用STM32神经网路库实现高级计算机视觉应用程式，该库基于使用STM32CubeMX AI扩展包（X-CUBE-AI）生成的预训练模型。
此方案设置基于 STM32H747XIH6 探索套件 (STM32H747I-DISCO)，该套件带有一个运行计算机视觉人工智能 (AI) 软件 (FP-AI-VISION1) 的高性能双核 STM32H7 微控制器和一个摄像头模块 (B- CAMS-OMV）基于具有 5 百万像素分辨率和 8 位颜色的图像传感器。 在 STM32H747XIH6 微控制器上运行的 FP-AI-VISION1 软件根据神经网络 (NN) 生成的输出在场景中执行基于边缘的人体存在检测。 AI 模型是使用 STM32CubeMX AI 扩展包 (X-CUBE-AI) 生成和优化的。 STM32H747XIH6 Discovery 套件中包含的 LCD 完成设置以显示捕获的视频和人体检测模型（“人”或“非人”）。 FP-AI-VISION1 软件包中提供了两个人体存在检测应用程序： 一种基于低复杂度 CNN 模型（所谓的 Google_Model），用于处理分辨率为 96 × 96 像素的灰度图像（每像素 8 位）。该模型是从 storage.googleapis.com 下载的。 一种基于更高复杂度的 CNN 模型（所谓的 MobileNetv2_Model），用于处理分辨率为 128 × 128 像素的彩色图像（每像素 24 位）。
STM32Cube 的人工智能 (AI) 和计算机视觉功能包
FP-AI-VISION1 STM32Cube 功能包，用于高性能 STM32 与计算机视觉的人工智能 (AI) 应用程序
FP-AI-VISION1 是一个 STM32Cube 功能包，其中包含基于卷积神经网络 (CNN) 的计算机视觉应用示例。 FP-AI-VISION1 由 X-CUBE-AI 扩展包生成的软件组件和专用于基于 AI 的计算机视觉应用程序的应用程序软件组件组成。 功能包中提供的应用示例有食物识别（识别18类常见食物）、人存在检测（识别图像中是否有人）、人数统计（统计场景中的人数） ) 基于对象检测神经网络模型。 FP-AI-VISION1 使用 STM32_AI_Runtime 神经网络库实现高级计算机视觉应用。库基于预训练模型，并使用 STM32CubeMX 工具的 X-CUBE-AI 扩展包生成。 该功能包演示了两种神经网络模型的集成：32 位浮点模型和 8 位量化模型。它还演示了不同内存配置中的模型集成（仅依赖 MCU 内部存储器或也使用外部存储器）。 FP-AI-VISION1 功能包包括功能丰富的图像处理库。
STM32_ImageProcessing_Library，它支持常见的处理任务（如图像缩放和像素颜色转换）和高级处理任务（如人脸检测）。 STM32_ImageProcessing_Library 还提供了一组实用函数来读取和写入多种文件格式。 FP-AI-VISION1 功能包还包括相机驱动程序以及用于将图像捕获到帧缓冲区、预处理帧缓冲区内容和运行神经网络推理的框架。 FP-AI-VISION1 功能包具有 USB 网络摄像头应用程序，可用于创建图像和视频数据集以及在主机上执行实时测试。
FP-AI-VISION1 在 STM32H747I-DISCO Discovery 板上运行，连接到 B-CAMS-OMV 相机模块包.
FP-AI-VISION1 - STM32Cube function pack for high performance STM32 with artificial intelligence (AI) application for Computer Vision - STMicroelectronics
►场景应用图
►展示板照片
►方案方块图
►核心技术优势
■ 即用型固件，其特点是使用卷积神经网路 （CNN） 模型实现基于物件检测算法的即时人类存在检测应用 ■ STM32H747XIH6 - 高性能、双核微控制器，带DSP和DP-FPU指令 ■ FP-AI-VISION1 - 适用于电脑视觉人工智能（AI）应用的STM32Cube功能包 ■ 得益于STM32Cube软体工具，可在不同的STM32 MCU系列上轻松移植 ■ 边缘处理方法确保比集中式云解决方案更低的功耗和延迟，重点是准确性和个人隐私 ■ 基于即时操作系统 （RTOS） 的超低功耗实现 ■ 功能丰富的图像处理库（STM32_ImageProcessing_Library） ■ 支持嵌入式应用程序的测试、调试和验证的库 ■ 免费且用户友好的许可条款
►方案规格
■ 一种基于低复杂度 CNN 模型（所谓的 Google_Model），用于处理分辨率为 96 × 96 像素的灰度图像（每像素 8 位）。该模型是从 storage.googleapis.com 下载的。 ■ 一种基于更高复杂度的 CNN 模型（所谓的 MobileNetv2_Model），用于处理分辨率为 128 × 128 像素的彩色图像（每像素 24 位）。 ■ 基于对象检测卷积神经网络 (CNN) 模式的即用型人体检测应用程序 ■ 用于相机捕捉、帧图像预处理、推理执行和输出后处理的完整应用固件 ■ 基于卷积神经网络的人员存在检测应用 ■ 基于对象检测神经网络模型的人数统计应用 ■ USB 网络摄像头应用使 STM32H747I-DISCO 板在连接到主机时能够充当 USB 视频摄像头 (UVC) 设备 ■ 可用于连接到 B-CAMS-OMV 相机模块包的 STM32H747I-DISCO 探索板的示例实现
