Mediapipe

百科首页 | 3D虚拟世界 | 音乐与人工智能 | 人工智能机器人 | 关于我们 | 网站首页

Mediapipe简介

Mediapipe是google的一个开源项目，可以提供开源的、跨平台的常用ML(machine learning)方案.Mediapipe实际上是一个集成的机器学习视觉算法的工具库，包含了人脸检测、人脸关键点、手势识别、头像分割和姿态识别等各种模型。Mediapipe具备的优点有：1）支持各种平台和语言，包括IOS，Android，C++，Python，JAVAScript，Coral等；2）速度快，各种模型基本上可以做到实时运行。Mediapipe在实际应用中的例子：1）人脸检测；2）FaceMesh：从图像/视频中重建出人脸的3D Mesh，可以用于AR渲染；3）人像分割：从图像/视频中把人分割出来，可用于视频会议如Zoom、钉钉；4）手势识别和跟踪：可以识别标出手部21个关键点的3D坐标；5）人体姿态识别：可以识别标出人体33个关键点的3D坐标。

• 官网地址：https://mediapipe.dev/

• Github开源项目地址：https://github.com/google/mediapipe

• 一些模型的web体验地址（用到电脑摄像头）：

   人脸检测：https://code.mediapipe.dev/codepen/face_detection
   人脸关键点：https://code.mediapipe.dev/codepen/face_mesh
   手势识别：https://code.mediapipe.dev/codepen/hands
   姿态识别：https://code.mediapipe.dev/codepen/pose
   自拍头像分割：https://code.mediapipe.dev/codepen/selfie_segmentation 

Mediapipe Python的安装和应用

• 安装

1. 安装python 3.7以上版本，下载地址：https://www.python.org/getit
   （python安装教程，引自CSDN https://blog.csdn.net/weixin_49237144/article/details/122915089）
2. 安装Mediapipe
   1)安装OpenCV,终端执行pip install opencv-contrib-python
   2)安装Mediapipe，终端执行pip install mediapipe，或者使用国内镜像 pip install mediapipe -i https://pypi.tuna.tsinghua.edu.cn/simple/

• 应用

1. Mediapipe手势识别
   1)OpenCV调用摄像头:

import cv2 cap = cv2.VideoCapture(0)