论文原文:YOLOv3: An Incremental Improvement

解决方案

这一部分主要介绍了 YOLOv3 的解决方案。作者从其他研究中获取了非常多的灵感,训练了一个新的分类网络。因此原文章的这一部分主要从边界框的预测、类别预测和特征抽取等方面详细介绍整个系统。

边界框预测

YOLOv3 沿用了 YOLO9000 边界框预测的方法,使用维度聚类中心作为 anchor box 来预测边界框。YOLOv3 用 logistic 回归预测每一个边界框的对象状态。如果某一个边界框先验与真实值重叠最多,对象状态值应该为 1。如果边界框不是最好的,但重叠部分超过阈值(0.5),则忽略这个预测。与 Fast-RCNN 不同的是,YOLOv3 只给每个真实对象分配一个边界框先验。如果一个边界框没有分配到一个真实对象,它对坐标或类别预测不会带来损失,只是影响对象状态。

图 1 带有维度先验和定位预测的边界框。通过预测离聚类中心的偏移度来预测边界框的宽和高,并使用 Sigmoid 函数预测边界框相对于滤波器应用位置的中心坐标。

类别预测

每个边界框会使用多类标分类来预测其中包含物体的类别。作者没有使用 Softmax,因为其对性能提升不是必要的,因此只是使用独立的 logistic 分类。在训练过程中,使用二值交叉熵损失进行类预测。

这种方法对于更复杂的数据集,如 Open Images Dataset,是很有帮助的。这个数据集有许多重叠的标签,使用 Softmax 则会带来每个边界框只有一个类标的强加假设,但现实往往不是这样的。多类标的方法可以对数据更好的建模。

跨尺度预测

YOLOv3 在 3 个不同的尺度预测边界框。系统使用类似于特征金字塔的网络从这些尺度中提取特征。作者在基本的特征提取器后添加了几个卷积层。网络的最后一层会给出一个三维张量,其中编码了边界框、对象状态和类别预测信息。在 COCO 数据集的实验中,在每个尺度预测了 3 个边界框,分别包含 4 个边界框的偏移量,1 个对象状态值,80 个类标预测值,因此张量大小为 n×n×[3*(4+1+80)]。

特征提取

作者使用了新的网络进行特征提取,新网络是 Darknet-19 和残差网络的混合体。网络使用连续的 3×3 和 1×1 卷积层,但是加入了快捷连接。由于网络有 53 层卷积层,所以作者将新网络称作 Darknet-53。

表 1 Darknet-53 结构

新网络远比 Darknet-19 更强大,而且比 resnet-101 和 resnet-152 更有效。

表 2 主干架构的性能对比(ImageNet 数据集):准确率(top-1 误差、top-5 误差)、运算次数(/ 十亿)、每秒浮点数运算次数(/ 十亿),以及 FPS 值。

总而言之,YOLOv3 的先验检测(Prior detection)系统将分类器或定位器重新用于检测任务。他们将模型应用于图像的多个位置和尺度。评分较高的区域可以视为检测结果。

此外,YOLOv3 将一个单独的神经网络应用于整张图像,该网络将图像划分为不同的区域,然后预测每个区域的边界框和类标概率,这些边界框会通过预测的类标概率进行加权。

YOLOv3 与基于分类器的系统相比有一些优势。它在测试时会查看整个图像,所以它的预测利用了图像中的全局信息。与 R-CNN 需要对单一图像进行数千次预测不同,它通过一个单独网络评估进行预测。这令 YOLOv3 非常快,比 R-CNN 快 1000 倍,比 Fast R-CNN 快 100 倍。

YOLOv3 测试效果

YOLOv3 可以在 22ms 之内执行完一张 320 × 320 的图片,mAP 得分 28.2,和 SSD 的准确率相当,但是比它快三倍。此外,它在 Titan X 上经过 51 ms 训练,mAP50 为 57.9,相比之下,RetinaNet 经过 198ms 的训练之后 mAP50 为 57.5。对比起来,两者的性能差异不大,但是 YOLOv3 比 RetinaNet 快 3.8 倍。

COCO 数据集实验

表 3 从表中可以看出,YOLOv3 表现得不错。RetinaNet 需要大约 3.8 倍的时间来处理一张图像,YOLOv3 相比 SSD 变体要好得多,并在 AP_50 指标上和当前最佳模型有得一拼。

准确率 vs 速度

图 2 以 0.5 IOU 为指标的速度与准确率关系曲线(mAP vs 推断时间)。从图中可以看出 YOLOv3 准确率高,速度也快。

如何使用 YOLOv3

用预训练模型进行检测接下来将给大家介绍如何利用 YOLO 系统使用预训练模型来检测物体。首先需要安装 Darknet,或者运行命令:

git clone https://github.com/pjreddie/darknetcd darknetmake

这样一来 cfg/ 子目录中就有了 YOLO 配置文件,接下来下载预训练模型的权重信息(237 MB),或运行命令:

wget https://pjreddie.com/media/files/yolov3.weights

然后就可以运行检测器:

./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg

输出如下:



Darknet 会输出检测到的物体、自信度以及检测时间。我们没有用 OpenCV 编译 Darknet,所以它不能直接显示检测情况。检测情况保存在 predictions.png 中。大家可以打开这个图片来查看检测到的对象。我们在 CPU 上使用 Darknet,检测每张图片大约需要 6-12 秒,如果使用 GPU 将快得多。

我还附上了一些其他图片可以尝试,或许能给大家提供灵感,data/eagle.jpg、data/dog.jpg、data/person.jpg 或 data/horses.jpg。

detect 命令是对通用版本的简写,通用版本命令如下:

./darknet detector test cfg/coco.data cfg/yolov3.cfg yolov3.weights data/dog.jpg

如果你只是想检测图像,并不需要了解这个,但如果你想做其他的事情,比如在网络摄像头上运行 YOLO,这个命令非常有用(稍后详细描述)。

多图像检测

在命令行不给出图像信息的话就可以连续运行多个图片。当加载完配置和权重,你将看到如下提示:


输入类似 data/horses.jpg 的图像路径来进行边框预测:


一旦完成,它将提示你输入更多路径来检测不同的图像。使用 Ctrl-C 退出程序。

改变检测阈值

默认情况下,YOLO 只显示检测到的自信度不小于 0.25 的物体。可以在 YOLO 命令中加入 -thresh来更改检测门限。例如,将门限设置为 0 可以显示所有的检测结果。./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg -thresh 0网络摄像头实时检测 要运行 demo,需要用 CUDA 和 OpenCV 来编译 Darknet。然后运行如下指令:

./darknet detector demo cfg/coco.data cfg/yolov3.cfg yolov3.weights

YOLO 将会显示当前的 FPS 和预测的分类,以及带有边框的图像。

你需要一个连接到电脑的摄像头并且 OpenCV 也可以连接到,否则就无法运行。如果有多个摄像头并想选择其中某一个,可以使用 -c(OpenCV 在默认情况下使用摄像头 0)语句。如果 OpenCV 可以读取视频,也可以在视频文件中运行:

./darknet detector demo cfg/coco.data cfg/yolov3.cfg yolov3.weights <video file>

如何训练 YOLO在 VOC 数据集上训练 YOLO

训练 YOLO 需要 2007-2012 年的所有 VOC 数据,这是下载地址:https://pjreddie.com/projects/pascal-voc-dataset-mirror/,要把所有数据存储在一个路径下:

wget https://pjreddie.com/media/files/VOCtrainval_11-May-2012.tarwget https://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tarwget https://pjreddie.com/media/files/VOCtest_06-Nov-2007.tartar xf VOCtrainval_11-May-2012.tartar xf VOCtrainval_06-Nov-2007.tartar xf VOCtest_06-Nov-2007.tar

这样所有的 VOC 训练数据都在 VOCdevkit/ 子目录下。

生成标签

接下来需要生成 Darknet 使用的标签文件。每张图需要一个.txt 文件,每一行对应一个目标,格式如下:

<object-class> <x> <y> <width> <height>

x, y, width 和 height 对应图像的宽和高。需要在 Darknet scripts/ 子目录下运行 voc_label.py 来生成这些文件。

wget https://pjreddie.com/media/files/voc_label.pypython voc_label.py

几分钟后,这个脚本将生成所有必需文件。大部分标签文件存放在 VOCdevkit/VOC2007/labels/ 和 VOCdevkit/VOC2012/labels/ 下,大家可以在目录下看到如下信息:

 ls2007_test.txt   VOCdevkit2007_train.txt  voc_label.py2007_val.txt    VOCtest_06-Nov-2007.tar2012_train.txt  VOCtrainval_06-Nov-2007.tar2012_val.txt    VOCtrainval_11-May-2012.tar

类似 2007_train.txt 的文件列出了那一年的图像集内的图像。Darknet 需要一个包含所有你想要训练的图片的文本文件。在这个例子中,我们训练了除了 2007 测试集的所有数据。运行如下命令:

 cat 2007_train.txt 2007_val.txt 2012_*.txt > train.txt

现在就有了包含 2007 和 2012 所有训练验证数据集的一个大的列表。数据准备工作到这里就结束了。

修改 Pascal 数据设置

现在进入 Darknet 目录,需要改变 cfg/voc.data 配置文件让它指向数据:

  1 classes= 20  2 train  = <path-to-voc>/train.txt  3 valid  = <path-to-voc>2007_test.txt  4 names = data/voc.names  5 backup = backup

将替换为你存放 VOC 数据的目录。

下载预训练卷积权重

在训练中使用在 Imagenet 上预训练的卷积权重。我们这里使用 darknet53 模型的权重,可以在这里下载卷积层权重:https://pjreddie.com/darknet/imagenet/#darknet53,或者运行以下命令:

wget https://pjreddie.com/media/files/darknet53.conv.74

训练模型

执行下面的命令进行训练:

./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74

在 COCO 数据集上训练 YOLO 与 VOC 类似,读者可以在这里查看详情:https://pjreddie.com/darknet/yolo/


©著作权归作者所有:来自51CTO博客作者mb5fdb0a1b25659的原创作品,如需转载,请注明出处,否则将追究法律责任

更多相关文章

  1. BAT程序员们常用的开发神器
  2. 因为AI,Blued成为垂直社交产品里“不一样的烟火”
  3. 我从过去八个月的AI公司面试中学到了什么?
  4. 小数据、高准确率的文本分类:利用迁移学习创造通用语言模型
  5. 薪资高到没朋友的数据科学职位到底是干啥的?
  6. 人工智能武器真正的威胁来自人类,而不是机器
  7. 中国首个官方推出的开源协议:木兰宽松许可证上线
  8. 六成开发者日编程不足4小时,半数认为学习新语言很困难
  9. 开源分布式跟踪方案概览

随机推荐

  1. Android中Activity四种启动模式详解
  2. Android(安卓)G711A 音频编解码,去除“吱
  3. [置顶] Android官方文档系列(翻译)
  4. 获得Android设备的唯一序列号
  5. Android Xml文件生成,Xml数据格式写入
  6. Android官方DataBinding(三):RecyclerView
  7. Android常见错误处理
  8. Android Studio 导入 GreenDao
  9. 使用PHP开发Android应用程序技术介绍
  10. Android:Designing for Performance