本文共 2023 字，大约阅读时间需要 6 分钟。

计算机视觉中特征提取与匹配的新方法

点击上方“小白学视觉”，选择加“星标”或“置顶”

---

特征提取与匹配的新方法

计算机视觉需要图像预处理，尤其是特征提取。以前用于跟踪和3-D重建的方法，首先需要提取特征点、边缘和轮廓等。传统的特征提取方法如SIFT/SURF/FAST等，已被替代为通过CNN模型生成的特征图。以下是几种新的特征提取与匹配方法。

---

1. 创新特征描述符学习

Discriminative learning of deep convolutional feature point descriptors

该方法通过卷积神经网络（CNN）学习鉴别式补丁表示，特别是训练具有成对（非）相应补丁的Siamese网络。在训练和测试期间，它使用L2距离，提出了一种128-D描述符，其欧几里德距离反映了补丁相似性，并且可作任何涉及SIFT的替代。

如图所示，使用一个Siamese网络来学习这样的描述符，其中非线性映射由CNN表示，它对对应或非对应补丁对优化。补丁通过模型提取描述符，然后计算其L2范数，作为图像描述符的标准相似性度量。目标是学习一个描述符，使得非对应的补丁在其空间中相隔甚远，而对应的补丁紧密相连。

---

2. LIFT架构

Learned Invariant Feature Transform

LIFT是一种深度网络架构，实现了完整的特征点检测、朝向估计和特征描述。如图所示，LIFT基于Siamese架构，用于特征检测和描述流水线。网络采用四分支Siamese结构，每个分支包含三个不同CNN：一个检测器、一个朝向估计器和一个描述子。使用四联（quadruplets）图像补丁。

每个四联中的补丁Pi将通过第i个分支训练。目标函数定义如下：

• p1、p2分别是投影到x1、x2的3D点索引。

网络架构包括三层：64×64输入在第3层中产生128维输出。每个卷积层由四个子层组成：滤波器层、非线性层、池化层和归一化层。非线性层使用双曲线切线单元（Tanh），池化层使用L2池化，归一化很重要，减法归一化在第一和二层之后用高斯核减去5×5邻域的加权平均值。

---

3. MatchNet

MatchNet

MatchNet由一个深度卷积网络组成，该网络从补丁中提取特征，并由三个全连接层组成网络计算所提取特征之间的相似性。

如图所示，MatchNet训练时的网络架构（图C）包括特征网络（图A）和相似性测度网络（图B）。输出尺寸由（高×宽×深）给出。PS是卷积和池化层的补丁大小，S是步幅。层类型：C=卷积，MP=最大池化，FC=全连接。

网络拆解为并行的特征网络和测度网络。首先为所有补丁生成特征编码，然后将这些特征配对并推送它们通过测度网络获得分数。

---

4. 通用对应网络（UCN）

Universal Correspondence Network

UCN用于几何和语义匹配的视觉对应，包括从刚性运动到类内形状或外观变化等不同场景。网络直接学习几何或语义相似性的特征空间。卷积空间变换器（CST）模拟传统特征（如SIFT）的补丁归一化，可显著提高类内形状变化语义对应的准确性。

如图所示，网络输入图像对应点的一对图像和坐标（蓝色：正，红色：负）。对应于正样本点的特征被训练为彼此更接近，而对应于负样本点的特征被训练为相隔一定距离。目标损失函数计算公式如下：

• s=1为正对应对，s=0为负对应对。

---

5. DGC-Net

Dense Geometric Correspondence Network

DGC-Net是一种基于CNN实现从粗到细致密像素对应图的框架。它利用光流法的优势，并扩展到大变换，提供密集和亚像素精确的估计。训练数据来自合成的变换，也应用于相机姿态估计的问题。

如图所示，网络由两个预训练的CNN分支组成特征金字塔。相关层从金字塔的粗层获取源图像和目标图像的特征图，并估计它们之间的成对相似性。对应图解码器获取相关层输出并直接预测金字塔在特定层的像素对应关系。网络还包括匹配（matchability）分支，输出置信度图。

---

下载资源

• 在「小白学视觉」公众号后台回复“扩展模块中文教程”，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

• 回复“Python视觉实战项目”，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目。

• 回复“OpenCV实战项目20讲”，即可下载含有20个基于OpenCV实现的实战项目。

---

欢迎加入公众号读者群，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群。请扫描下方微信号加群，备注：“昵称+学校/公司+研究方向”。请勿在群内发送广告，否则会请出群，谢谢理解~