人体关键点检测

今天，这一节课的内容主要可以看成，人体关键点检测的综述。包括2d，3d人天姿态检测。主要介绍上述的算法，还有包括常用评价指标。

1.检测思路

1.1自顶向下

思路就是首先识别出人，之后在进行关键点识别，这样的缺点就是整体精度收到检测器算法，还有一个就是计算量太大了。

1.2自底向上

先识别关键点，之后再次识别人类。计算量就少很多。

1.3基于回归的

根据图像直接回归出来坐标

1.4基于热力图

热力图是输出与原图比例一样的图像，但是每一个通道里面，关键点的坐标是1.预测出关键点既可以进行绘制。同时关键点一般使用max，或者是进行求期望获得

2.2d检测

2.1自顶向下

回归：包括DeepPOse（直接输出坐标），级联DeepPose，RLE（借鉴Flow思想，把分布运用多个高斯分布来进行拟合）

热力图：HourGlass（跳连接，是对称的自己），baseline（resnet+反卷积），HRNET（高分辨率，自己生成高分辨率+低分辨率的）

2.2自底向上

openPose：先进行预测关键点，然后计算亲和度，高得就是同一个人

2.3单阶段

一个阶段就可以结算出来结果。

包括：SPM（回归位置+方向向量），层级SPM（分部位来进行回归）

2.4TRansform

PPTR：都是用一套DeRT个骨干网络，先框选人，之后关键点预测的时候把transform里面的q换成关键点）

TokenPose：cnn得到特征信息，之后在与pose信息一起add，然后放入到transform进行炼丹

3.3d检测

难点就是如何从2位换源到3维

解决思路：

1. 直接2d还原生成3d coarse
2. 利用视频，首先生成单帧的2d ，之后2d再次生3d cideoPOse
3. 利用多个视角 voxelPose

4.评价指标

PCP：准确率

PDJ：在一定比例

PCK：在阈值范围里

oks：计算公式

5.DensePOse

把人体划分成24块，每一个部分256*256，有14个关键点

主要算法包括：rcnn+dense reg，SMPL，SMPLisy和HMR