关键点检测项目代码开源了！

关键点检测项目代码开源了！

Datawhale干货

作者：闫永强，算法工程师，Datawhale成员

本文通过自建手势数据集，利用YOLOv5s检测，然后通过开源数据集训练squeezenet进行手部关键点预测，最后通过指间的夹角算法来判断具体的手势，并显示出来。文章第四部分为用C++实现整体的ncnn推理（代码较长，可先马后看）

一、YOLOV5训练手部检测

训练及部署思路类似​​表情识别​​，需要将handpose数据集标签改成一类，只检测手部，简化流程，更易上手。

此部分数据集来源格物钛    ncnn外设：普通USB摄像头

二、手部关节点检测

1、依赖环境

和YOLOV5训练手部检测一致。

2、检测数据集准备

该数据集包括网络图片以及数据集 筛选动作重复度低的图片，进行制作大概有5w张数据样本。其中数据集的官网地址：install tensorbay

步骤2:  数据预处理

要使用已经处理好可以直接训练的数据集，步骤如下：

a. 打开本文对应数据集链接 numpy as npfrom PIL import Imagefrom tensorbay import GASfrom tensorbay.dataset import Datasetdef read_gas_image(data): with data.open() as fp: image = Image.open(fp) image.load() return np.array(image)# Authorize a GAS client.gas = GAS('填入你的AccessKey')# Get a dataset.dataset = Dataset("HandPose", gas)dataset.enable_cache("data")# List dataset segments.segments = dataset.keys()# Get a segment by namesegment = dataset["train"]for data in segment: # 图片数据 image = read_gas_image(data) # 标签数据 # Use the data as you like. for label_box2d in data.label.box2d: xmin = label_box2d.xmin ymin = label_box2d.ymin xmax = label_box2d.xmax ymax = label_box2d.ymax box2d_category = label_box2d.category break

数据集页面可视化效果：

#数据集划分print(segments)# ("train",'val')print(len(dataset["train"]), "images in train dataset")print(len(dataset["val"]), "images in valid dataset")# 1306 images in train dataset# 14 images in valid dataset

4、关节点检测原理

关节点检测pipeline流程是：

1）输入图片对应手部的42个关节点坐标，

2）整个网络的backbone可以是任何分类网络，我这里采用的是squeezenet，然后损失函数是wingloss。

3）整个过程就是输入原图经过squeezenet网路计算出42个坐标值，然后通过wingloss进行回归计算更新权重，最后达到指定阈值，得出最终模型。

5、手部关节点训练

手部关节点算法采用开源代码参考地址：train.py

6、手部关节点模型转换

1）安装依赖库

​​pip install onnx coremltools onnx-simplifier​​

2）导出onnx模型

​​python model2onnx.py --model_path squeezenet1_1-size-256-loss-wing_loss-model_epoch-2999.pth --model squeezenet1_1​​

会出现如下图所示

其中model2onnx.py文件是在上述链接工程目录下的。此时当前文件夹下会出现一个相应的onnx模型export。

3）用onnx-simplifer简化模型​

为什么要简化？

因为在训练完深度学习的pytorch或者tensorflow模型后，有时候需要把模型转成onnx，但是很多时候，很多节点比如cast节点，Identity这些节点可能都不需要，需要进行简化，这样会方便把模型转成ncnn mnn等端侧部署模型格式。

​​python -m onnxsim squeezenet1_1_size-256.onnx squeezenet1_1_sim.onnx​​

会出现下图：

上述过程完成后就生成了简化版本的模型squeezenet1_1_sim.onnx。

4）把检测模型转换成ncnn模型

可以直接利用网页在线版本转换模型，地址： 页面如图：

三、利用关节点手势识别算法

通过对检测到的手部关节点之间的角度计算，可以实现简单的手势识别。例如：计算大拇指向量0-2和3-4之间的角度，它们之间的角度大于某一个角度阈值（经验值）定义为弯曲，小于某一个阈值（经验值）为伸直。具体效果如下面三张图。

四、工程推理部署整体实现

此关节点手势识别的整体过程总结：首先是利用目标检测模型检测到手的位置，然后利用手部关节点检测模型，检测手部关节点具体位置，绘制关节点，以及关节点之间的连线。再利用简单的向量之间角度进行手势识别。

整体的ncnn推理C++ 代码实现：

#include #include #include "iostream" #include// ncnn#include "ncnn/layer.h"#include "ncnn/net.h"#include "ncnn/benchmark.h"#include "opencv2/core/core.hpp"#include "opencv2/highgui/highgui.hpp"#include #include "opencv2/opencv.hpp" using namespace std;using namespace cv;static ncnn::UnlockedPoolAllocator g_blob_pool_allocator;static ncnn::PoolAllocator g_workspace_pool_allocator;static ncnn::Net yolov5;static ncnn::Net hand_keyPoints;class YoloV5Focus : public ncnn::Layer{public: YoloV5Focus() { one_blob_only = true; } virtual int forward(const ncnn::Mat& bottom_blob, ncnn::Mat& top_blob, const ncnn::Option& opt) const { int w = bottom_blob.w; int h = bottom_blob.h; int channels = bottom_blob.c; int outw = w / 2; int outh = h / 2; int outc = channels * 4; top_blob.create(outw, outh, outc, 4u, 1, opt.blob_allocator); if (top_blob.empty()) return -100;#pragma for (int p = 0; p < outc; p++) { const float* ptr = bottom_blob.channel(p % channels).row((p / channels) % 2) + ((p / channels) / 2); float* outptr = top_blob.channel(p); for (int i = 0; i < outh; i++) { for (int j = 0; j < outw; j++) { *outptr = *ptr; outptr += 1; ptr += 2; } ptr += w; } } return 0; }};DEFINE_LAYER_CREATOR(YoloV5Focus)struct Object{ float x; float y; float w; float h; int label; float prob;};static inline float intersection_area(const Object& a, const Object& b){ if (a.x > b.x + b.w || a.x + a.w < b.x || a.y > b.y + b.h || a.y + a.h < b.y) { // no intersection return 0.f; } float inter_width = std::min(a.x + a.w, b.x + b.w) - std::max(a.x, b.x); float inter_height = std::min(a.y + a.h, b.y + b.h) - std::max(a.y, b.y); return inter_width * inter_height;}static void qsort_descent_inplace(std::vector