
本文共 1180 字,大约阅读时间需要 3 分钟。
论文:超越局部特征模型:基于优化部分池化的人员检索
1. 摘要
使用局部特征对人脸重识别具有显著的性能提升效果,这是因为局部特征能够提供细粒度的信息。然而,使用局部特征的前提是图像中的每个局部部分(part)都应位于适当的位置。本文未采用外部方法(如姿势估计等)直接定位部分,而是将研究重点放在每个部分内的内容一致性上。
本文的主要贡献包括两点:第一,提出了PCB网络(Part-based Convolutional Baseline)。输入图像后,该网络输出由多个部分级别的特征组成的卷积描述符。第二,提出RPP(Refined Part Pooling)方法。统一分割会导致每个部分产生异常值,RPP通过将这些异常值重新分配给其最接近的部分,从而增强部分内的一致性。
2. PCB网络
PCB网络的骨干采用了ResNet50,这种架构既具有竞争力又简洁。骨干结构与ResNet50的全局平均池化层(GAP)前后的结构相同,但删除了GAP层及其以下的内容。
PCB网络的具体实现包括以下步骤:首先,输入图像经过骨干后得到一个3D张量T(注意:此处沿通道轴观察的向量定义为列向量)。其次,使用传统的平均池化将张量T划分为p个水平条纹,并将相同条纹中的所有列向量平均化为一个部分级别的列向量(g1, g2, ..., gp)。然后,使用卷积层减小g的尺寸,得到列向量h。最后,每个h输入分类器(由全连接层和Softmax激活函数组成),预测图像的ID。训练时,通过最小化p个ID预测的交叉熵损失之和来优化PCB;测试时,g或h的p片段被连接起来,形成最终的描述符H = [h1, ..., hp],G = [g1, ..., gp]。实验结果表明,使用G获得了略高的精度,但计算成本增加。
PCB的重要参数包括:输入图像尺寸(384 × 128)、张量T的空间尺寸(24 × 8)、条纹数量(p=6)的大小。实验发现,降低骨干的下采样率可以有效地丰富特征的粒度。因此,PCB删除了骨干的最后一个空间下采样操作,以增加T的尺寸。
3. RPP方法
在训练PCB收敛后,通过测量余弦距离,比较每个列向量f与所有gi(i=1...p)之间的相似性。通过此操作,可以找到与每个f最接近的part gi,从而为每个f分配最合适的gi标签。
实验结果显示,存在两个主要现象:第一,同一条纹中的绝大多数列向量仍然聚集在一起;第二,存在一些异常值,这些异常值与其他part的相似度更高。
具体而言:首先,通过线性层和Softmax激活函数作为部分分类器对张量T中的所有列向量f进行分类。其次,基于分类结果计算置信度P(Pi|f),从而确定每个part的归属。
加入RPP后,PCB的性能得到了显著提升。实验表明,修改后的网络能够更有效地分配部分归属,从而提高了部分内的一致性。
发表评论
最新留言
关于作者
