Python on ESP32

几行代码部署
端侧实时视觉 AI

采集、处理、推理与显示,全部在设备端完成

ESP-VISION 视觉能力:目标检测、颜色追踪、边缘检测、AprilTag、二维码与人体姿态识别
01AI 开发工作流

说出想法,看见效果

目标检测01 / 5
PROMPT给 AI 的指令你的想法

让 ESP-VISION 摄像头识别镜头里的手,框出位置,把识别结果实时显示出来。

02基础能力

你的创意,有能力支撑。

AI DIY01

AI 原生支持

说出目标,AI 助手协助完成固件烧录、模型加载与应用开发,并在真实设备上验证效果。

AI02

端侧 ESP-DL 推理

目标检测、姿态估计、图像分类;量化 .espdl 模型一行加载,本地实时、离线运行,也可转入自有 PyTorch / TensorFlow 模型。

VLM03

云端视觉大模型

直传 OpenAI 兼容视觉 API,接入 GPT-4o 等多模态大模型,复杂场景理解无需本地算力。

IMG04

图像处理算法

绘制、滤波、颜色追踪、特征检测、二维码、条码、AprilTag。

CDC05

硬件编解码

H.264 / MJPEG / RTSP 与 USB CDC 实时预览,吃满片上多媒体加速。

IO06

丰富外设支持

摄像头、屏幕、SPI、I2C、UART、SD 卡等多样外设开箱即用,沿用 MicroPython machine 兼容 API。

03开始使用

连接设备,轻装上阵

PROMPT给 AI 的指令

帮我为 Codex 接入 ESP-VISION,并检查连接。安装说明:https://www.npmjs.com/package/@esp-vision/plugin

浏览器烧录入口○ 未连接设备
芯片
开发板
固件版本
烧录方式仅更新应用,保留引导程序、分区表、WiFi 配置及用户文件;现有分区表必须匹配,不匹配时会停止。
正在检查所选固件的烧录支持…
设备 Wi-Fi 配网
可选 · 配网后可在局域网内无线开发和调试。
04AI 模型

丰富模型,开箱即用

14 个模型

模型任务输入数据集大小操作
ESPDet Pico Cat
ESPDet Pico · espdl.ESPDet
参数

224×224 · RGB565 · 487 KB

Cat

Detects cats in camera images.

cat
目标检测
224×224
RGB565
Cat487 KB下载↗
ESPDet Pico Cat & Dog
ESPDet Pico · espdl.ESPDet
参数

224×224 · RGB565 · 561 KB

Cat & Dog

Detects cats and dogs in camera images.

catdog
目标检测
224×224
RGB565
Cat & Dog↗561 KB下载↗
ESPDet Pico Dog
ESPDet Pico · espdl.ESPDet
参数

224×224 · RGB565 · 486 KB

Dog

Detects dogs in camera images.

dog
目标检测
224×224
RGB565
Dog486 KB下载↗
ESPDet Pico Face
ESPDet Pico · espdl.ESPDet
参数

224×224 · RGB565 · 484 KB

Face

Detects human faces in camera images.

face
目标检测
224×224
RGB565
Face484 KB下载↗
ESPDet Pico Hand
ESPDet Pico · espdl.ESPDet
参数

224×224 · RGB565 · 486 KB

Hand

Detects human hands in camera images.

hand
目标检测
224×224
RGB565
Hand486 KB下载↗
ESPDet Pico Hardhat
ESPDet Pico · espdl.ESPDet
参数

320×320 · RGB565 · 561 KB

Hard Hat Workers Computer Vision Model

Detects safety helmets in camera images.

helmet
目标检测
320×320
RGB565
Hard Hat Workers Computer Vision Model561 KB下载↗
YOLO11n COCO
YOLO11n · espdl.YOLO11
参数

160×160 · RGB565 · 2.7 MB

COCO

Detects the 80 COCO object classes in camera images.

目标检测
160×160
RGB565
COCO2.7 MB下载↗
YOLO11n-Pose COCO
YOLO11n-Pose · espdl.YOLO11nPose
参数

160×160 · RGB565 · 3.0 MB

COCO

Detects people and estimates 17 COCO body keypoints (human pose) in camera images.

person
姿态估计
160×160
RGB565
COCO3.0 MB下载↗
NanoTrack V2 Template INT8
NanoTrack V2 · espdl.NanoTrack
参数

127×127 · RGB565 · 320 KB

Training set of upstream published weights not independently verified

Template branch for touch-selected single-object tracking. Requires all three NanoTrack V2 model files.

tracking
127×127
RGB565
Training set of upstream published weights not independently verified320 KB下载↗
NanoTrack V2 Search INT8
NanoTrack V2 · espdl.NanoTrack
参数

255×255 · RGB565 · 320 KB

Training set of upstream published weights not independently verified

Search branch for touch-selected single-object tracking. Requires all three NanoTrack V2 model files.

tracking
255×255
RGB565
Training set of upstream published weights not independently verified320 KB下载↗
NanoTrack V2 Head INT8
NanoTrack V2 · espdl.NanoTrack
参数

8×8×48 + 16×16×48 · INT8 NHWC features · 236 KB

Training set of upstream published weights not independently verified

Head branch for touch-selected single-object tracking. Requires all three NanoTrack V2 model files.

tracking
8×8×48 + 16×16×48
INT8 NHWC features
Training set of upstream published weights not independently verified236 KB下载↗
PicoDet Pedestrian Detection
PicoDet · espdl.PedestrianDetect
参数

224×224 · RGB565 · 425 KB

Not specified by upstream

Detects pedestrians in camera images with the shared ESP32-P4 model export.

person
目标检测
224×224
RGB565
Not specified by upstream425 KB下载↗
Person Detection
MobileNet · tflite.Model
参数

96×96 · GRAYSCALE · 294 KB

Visual Wake Words

TensorFlow Lite Micro person-detection model: classifies whether a person is present in a 96x96 grayscale camera frame.

no personperson
图像分类
96×96
GRAYSCALE
Visual Wake Words294 KB下载↗
Sine
MLP · tflite.Model
参数

1 · FLOAT32 · 2 KB

Synthetic

TensorFlow Lite Micro "hello world" model: approximates sin(x) for x in [0, 2*pi] from a single scalar input.

回归
1
FLOAT32
Synthetic2 KB下载↗

连接设备

通过 USB 连接已运行 ESP-VISION 固件的开发板。

05多平台部署

跨平台,多板支持

图片开发板芯片ESP-VISION 支持情况
AtomS3R-M12
AtomS3R-M12↗ESP32-S3
支持
sensor · image · display · lcd_touch · espdl · tflite · imageio · uvc · storage
ESP32-P4X-EYE
ESP32-P4X-EYE↗ESP32-P4
支持
sensor · image · display · lcd_touch · espdl · tflite · imageio · h264 · rtsp · uvc · storage · barcode
ESP32-P4X-Function-EV-Board
ESP32-P4X-Function-EV-Board↗ESP32-P4
支持
sensor · image · display · lcd_touch · espdl · tflite · imageio · h264 · rtsp · uvc · storage · barcode
ESP32-P4X-VISION
ESP32-P4X-VISION↗ESP32-P4
支持
sensor · image · display · lcd_touch · espdl · tflite · imageio · h264 · rtsp · uvc · storage
ESP32-S3-EYE
ESP32-S3-EYE↗ESP32-S3
支持
sensor · image · display · lcd_touch · espdl · tflite · imageio · uvc · storage
ESP32-S31-Korvo-1
ESP32-S31-Korvo-1↗ESP32-S31
支持
sensor · image · display · lcd_touch · espdl · tflite · imageio · uvc · storage
ESP32-S31-MOSAICO
ESP32-S31-MOSAICO↗ESP32-S31
支持
sensor · image · display · lcd_touch · espdl · tflite · imageio · uvc · storage