YOLOv3模型训练和mAP计算

释放双眼,带上耳机,听听看~!
本文将介绍如何利用YOLOv3模型进行训练,以及计算mAP的过程。首先体验了YOLOv3的检测效果,然后下载并准备了VOC数据集进行训练。对数据集进行了标记格式转化,为后续的模型训练做准备。

根据上一篇《从0开始实现目标检测——原理篇》的讲述,我们选择了YOLOv3作为模型,那么本篇文章将继续接着上篇的内容,自己动手基于YOLOv3实现模型训练和mAP的计算。 在自己动手的这个过程中,一边解决遇到的问题,一边体会YOLOv3的原理,让我们学习起来吧。

一. YOLOv3之初体验

YOLOv3使用参考官网教程:pjreddie.com/darknet/yol…

1. 安装YOLOv3并体验VOC数据

(1). YOLOv3安装

首先就是下载YOLOv3项目并安装了,如下:

git clone https://github.com/pjreddie/darknet
cd darknet
make

接着就是下载YOLOv3已经提前训练好的一个模型体验下效果了:

wget https://pjreddie.com/media/files/yolov3.weights
./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg

这个条命令运行后,可以看到在项目的安装目录下多了一个predictions.jpg的文件,这就是检查结果的图片。结果如图:

YOLOv3模型训练和mAP计算

命令输出了各个网络层的输入和输出,以及最后识别出多少个物体分类和属于这个分类的概率。如下图所示:

YOLOv3模型训练和mAP计算

上图显示了卷积网络各层的计算过程,下图显示了整张图片检测的耗时,以及图中的物品类别和对应的概率。结果如图所示:

YOLOv3模型训练和mAP计算

对着输出和结果图片,可以看到识别的准确率还是很高的,但是也相当耗时,耗费了18.66秒。YOLOv3提供了一个层数只有13层的tiny模型,识别速度会更快,下载体验下:

wget https://pjreddie.com/media/files/yolov3-tiny.weights
./darknet detect cfg/yolov3-tiny.cfg yolov3-tiny.weights data/dog.jpg

识别结果如下:

YOLOv3模型训练和mAP计算

对于同样的图片,可以看到识别耗时从18.66秒直接降到了0.6秒,时间居然能下降97%,当然准确度也下降了。结果图片如图所示:

YOLOv3模型训练和mAP计算

从结果中tiny的模型准确度可能的确不高,从图中能看出来把一辆truck识别成了2个car和一个truck的组合。

(2). 下载VOC数据

在体验了几次YOLOv3的检测效果后,开始思考如何才能训练自己的模型呢?很自然的想法是先按照YOLOv3开放的数据集做训练,跑通流程后再利用自己的数据集训练。接着就开始我们的第一步,利用开放的数据集进行训练。

首先使用在公开的VOC数据集上进行下验证,下载数据集:

wget https://pjreddie.com/media/files/VOCtrainval_11-May-2012.tar
wget https://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tar
wget https://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar
tar xf VOCtrainval_11-May-2012.tar
tar xf VOCtrainval_06-Nov-2007.tar
tar xf VOCtest_06-Nov-2007.tar

下载完毕数据集后,我们还需要对转化数据集的标记格式为YOLOv3的标记方式,YOLOv3采用.txt文件来保存标记,格式如下:

<object-class> <x> <y> <width> <height>

其中object-class就是目标的种类index,x, y, width, height分别是图中目标的起始坐标和宽高。也就是之前《从0开始实现目标检测——原理篇》提到的。

YOLOv3也提供一个脚本程序,将VOC数据转化并标记为YOLO格式的标记,我们需要下载转化程序并进行转化:

wget https://pjreddie.com/media/files/voc_label.py
python3 voc_label.py

转化后,可以看到在项目目录下多了个VOCdevkit的文件夹,包含VOC2007,VOC2012,VOC2022 三个子文件夹,每个子文件夹格式如下:

YOLOv3模型训练和mAP计算

Annotations保存了每个图片对应的xml标记文件,可以打开看看,内容还是很好理解的,定义了图片的地址,宽、高、包含的物品类别以及各个类别的坐标和宽高。JPEGImages里是图片文件,labels文件夹下的存放着每个图片对应的标记数据,比如:

19 0.482 0.4053333333333333 0.8280000000000001 0.752

表示第19类数据的坐标和宽高。但是这个第19类代表的是什么?后边的坐标信息和宽高信息和Annotations下的标记信息也不同啊,这是怎么回事?

答案就在voc_label.py文件里,打开这个文件,发现类别的定义如下:

classes = ["aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow", "diningtable", "dog", "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor"]

那么第19类就是tvmonitor, 接着往下阅读此文件,发现文件是从Annotations中读入xml文件,通过函数convert把原始图片的坐标和宽高转化为了labels里的坐标和宽高数据。阅读函数,发现这个过程其实是一个归一化的过程,把原始数据映射到[0, 1]区间内,并且把坐标点移动到了图片的几何中心。

数据格式化和归一化完成后,我们还需把训练集合并成一个较大的训练集,从而获得较好的训练结果,合并命令如下:

cat 2007_train.txt 2007_val.txt 2012_*.txt > train.txt

接着把合并结果移动到data/voc目录下:

mv train.txt data/voc

(3). 训练VOC数据

在完成上述的数据准备后,再调整下训练模型的data文件,打开cfg/voc.data:

classes = 20
train = <path-to-voc>/train.txt
valid = <path-to-voc>/2007_test.txt
names = data/voc.names
backup = backup

替换为自己存储文件地址即可。

  • classes代表要分类的类数量。
  • train是train.txt文件保存位置。
  • valid是验证数据的存储地址位置。
  • names文件中存放了20个类别的名称。
  • backup是模型训练过程的权重文件保存目录,如果backup目录不存在,建立就行。

最后,调整下训练参数文件cfg/yolov3-voc.cfg:

[net]
# Testing
# batch=1
# subdivisions=1
# Training
batch=64
subdivisions=8

把训练的batch和subdivisions参数打开,关闭测试的batch和subdivisions参数。

batch表示是更新weights和bias的基本单位,可以这样理解每经过batch数量的样本训练后,更新一遍网络参数。

subdivisions表示网络中前向传播、反向传播的基本单位,也可理解为把整个batch分作几份训练,那么一次送入训练器的样本数量实际上是batch/subdivisions。

实际上网络是batch/subdivisions张图片进行训练(前向推理和反向传播),但是升级权值是在batch数目结束后进行的。这样在比较小的显存情况下实现大batch的训练。理论上batch越大,训练效果越好,但是batch太大内存可能吃不消。

在准备完备VOC训练数据后,在正式开始训练前还需要下载一个预训练文件:

wget https://pjreddie.com/media/files/darknet53.conv.74

在完成这些后,终于可以开始训练了,利用以下命令开始VOC数据的训练:

./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74

从程序输出中可以看到,程序在完成了网络加载后开始进行了训练过程,输出如下:

YOLOv3模型训练和mAP计算

从训练程序的输出分为3类信息:

  • Region 82 Avg IOU:82卷积层为最大的预测尺度,使用较大的mask,但是可以预测出较小的物体。
  • Region 94 Avg IOU:为中间的预测尺度,使用中等的mask。
  • Region 106 Avg IOU:为最小的预测尺度,使用较小的mask,可以预测出较大的物体。

一些输出信息解释如下:

  • Region Avg IOU: 0.900319:表示在当前subdivision内的图片的平均IOU,代表预测的矩形框和真实目标的交集与并集之比。
  • Class: 0.999576: 标注物体分类的正确率,期望该值趋近于1。
  • Obj: 0.991654: 越接近1越好。
  • No Obj: 0.000033: 期望该值越来越小,但不为零。
  • .5R:1.000000: 以IOU = 0.5为阈值时候的召回率。
  • .75R:1.000000:以IOU = 0.75为阈值时候的召回率。
  • count: 1:表示所有的当前subdivision图片(=batch/subdivisions)中包含正样本的图片的数量。

训练是按照yolov3-voc.cfg中的batch和subdivisions参数一组一组地读取图片训练,每组完成后输出下列信息:

YOLOv3模型训练和mAP计算

其中内容说明如下:

  • 2001:当前训练的迭代次数。
  • 0.048537:总体的损失。
  • 0.048537 avg:是平均Loss, 一般低于0.060730就可以终止训练了。
  • 0.002000 rate:当前的学习率。
  • 3.904890 seconds:当前这批数据训练花费的总时间。
  • 2560128 images:到目前为止,参与训练的总图片数量。

训练过程很漫长,很漫长,很漫长(用天为单位计算)。

我发现有2个问题需要解决:

  1. 训练过程太慢了,有没有什么办法加速?
  2. 训练过程的数据能否有更好的显示呢? 比如类似dashboard的可视化方法?

第一个问题,如何加速训练过程?

当然是利用GPU了,YOLOv3的Makefile中可以修改gpu和cudnn的参数,有GPU的同学可以修改这两个参数后make出新的darknet程序来进行训练。强烈建议用GPU参与训练,CPU训练可能要等死人的。没GPU的话,现在很多云服务厂商都有GPU的云主机,临时租用一个也划算。

备注:我使用的是Ubuntu 20.04,如何在Ubuntu 20.04下安装gpu驱动和cuda编程组件是另一个需要解决的问题。

第二个问题,训练过程数据可以可视化吗?

肯定是可以可视化的,我们需要考虑如何可视化。简单的想法是把训练过程的输出重定向到一个日志文件,然后通过程序对日志文件中的数据进行提取,再把提取的数据可视化出来。如何完成可视化过程,我们本次不做尝试,等到我们把开始自己训练数据后再做训练过程的可视化。

到此,我们已经能够利用VOC的数据训练YOLOv3了。训练结果保存在backup目录下,可以看到有很多形如xxx_100.weights, xxx_200.weights, xxx_300.weights, … , xxx_10000.weights的模型文件,和一个最终的yolov3-voc_final.weights的模型文件。

(4). 验证训练模型

训练模型已经完成,我们再把cfg/yolov3-voc.cfg的训练batch和subdvisions参数修改回去,用来验证下模型效果。

[net]
#Testing
batch=1
subdvisions=1
#Trainning
batch=64
subdvisions=16

运行命令进行测试:

./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_final.weights test.png

如果结果显示了物品的分类,并且在项目下有predictions.jpg文件生成,那么说明模型成功了。

(5). 衡量模型的性能

根据前文的讨论,我们知道通过mAP这个数值来衡量模型的性能,现在的问题是我们有模型了(官方的模型),有数据集了(VOC数据集),就差计算mAP的过程了。可以通过如下命令验证模型:

./darknet detector valid cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_final.weights

整个过程花费了135秒,验证结束后会在results目录下生成每个类的验证数据文件。验证数据现在有了,剩下的就是基于验证数据计算mAP了,这个过程需要用到一个计算脚本,这个脚本名叫voc_eval.py,在另一个faster-rcnn的项目下,下载地址:

https://github.com/rbgirshick/py-faster-rcnn/tree/master/lib/datasets

计算mAP,主要是用到voc_eval里的一个函数voc_eval,用法如下:

rec, prec, ap = voc_eval('results/{}.txt', 'VOCdevkit/VOC2007/Annotations/{}.xml', 'VOCdevkit/VOC2007/ImageSets/Main/val.txt', 'person', '.')

第一个参数是刚才的验证模型结果文件地址,第二个参数是标记数据的地址,第三个参数是验证集地址,第四个参数是要计算准确度的类别名称。函数返回的第三个值就是对应类别的准确度。每次运行这个命令,都会在项目目录下生成一个annots.pkl的文件,如果更换验证集或者类别,需要删除这个文件重新计算。

有了准确度,mAP 就是所有类别的准确度相加,再除以所有类别的数量了。

但是在调用voc_eval的时候有些地方需要修改,voc_eval是根据python2的语法写的,里边用到了python2的cPickle和print的地方,我使用的时候python3,所以在调用的时候修改下几个关于cPickle的地方和print的地方:

import _pickle as cPickle
...
print("Reading annotation for {:d}/{:d}".format(i+ 1, let(imagenames)))
print("Saving cached annotations to {:s}".format(cachefile))
with open(cache file, 'wb') as f:
	  cPickle.dump(recs, f)
...
with open(cachefile, 'rb') as f:
		recs = cPickle.load(f)

一个类一个类的输入计算ap再去计算平均值有点费劲,可以写一个简单的脚本程序来完成这个过程,文件如下:

from voc_eval import voc_eval
import os

sub_files = os.listdir("results")
mAPs = []
for i in range(len(sub_files)):
	class_name = sub_files[i].split(".txt")[0]
	rec, prec, ap = voc_eval('results/{}.txt', 'VOCdevkit/VOC2007/Annotations/{}.xml', 'VOCdevkit/VOC2007/ImageSets/Main/val.txt', class_name, '.')
	print("{} :t {}".format(class_name, ap))
	mAPs.append(ap)
mAP = tuple(mAPs)
print("mAP :t {}".format(float(sum(mAP)/len(mAP))))

经过计算,yolov3.weights在VOC数据集上的mAP达到了0.82。

到此,基于VOC数据的准备、训练、验证、mAP计算就已经完成了。我们可以进入在自己的数据集上做这些流程的工作了。

二. 数据自己的训练,得到自己的模型

要开始用我们自己的数据训练了,这个过程有5步:

  1. 准备数据,包括训练集、验证集等数据。
  2. 修改训练参数,也就是之前的.cfg和.data 文件。
  3. 训练模型,得到训练结果.weights文件。
  4. 测试训练结果。
  5. 利用.weights文件,在验证集上计算mAP。

1. 准备数据

这个步骤就是生成VOC数据时的Animiations、ImagesSets、JPEGImages、labels的过程。在之前VOC数据训练的时候,我们已经知道了这几个文件夹的作用:

  • JPEGImages里存放的是图片原图,注意格式都是jpg,大小统一。
  • Animiations里都是描述对应图片物体信息的xml文件,属于图片标注信息。
  • labels里存放的是对应图片的供YOLOv3读取的标准信息。
  • ImagesSet里的Main文件夹下存放的是测试集,验证集等数据的文件名。

那么我们要怎么生成这些数据呢?之前用到的voc_label.py文件就是生成VOC数据的程序,打开参考了下,形成了思路:

  1. 原图肯定是有的,也就是JPEGImages里的数据是很容易产生的,可以通过一个脚本程序复制原生图片到JPEGImages下。
  2. Animiations需要产生,有个叫做ImageLabels的工具能够对图片进行区域标注,但是我拿到的数据其实是有标注信息的,只不过标注信息是json格式的,我需要写个程序把json的标注转化成xml的标注。
  3. labels里数据可以通过略微修改下voc_label.py的程序,通过读取Animations下的xml文件,利用其中的convert函数生成。
  4. ImagesSet下的Main文件夹里的数据,可以通过写一个脚本程序生成。

在这里我就不展示生成这些数据所用到的脚本程序了,总之就是生成和VOC数据格式一样的文件就行。注意voc_label.py里的classes分类是你要分类的命名,和后面的my.names里的文件中的命名一致。

2. 制作.cfg和.data文件

复制一份voc的.data文件,供修改用,这样也不至于破坏voc的文件。

cp cfg/voc.data cfg/my.data

打开my.data:

classes = 6 # 我要识别6种分类 
train = data/my_train.txt # 训练集保存位置 
valid = data/my_test.txt # 验证集保存位置 
names = data/my.names # 类别名称存储文件 
backup = backup # 模型文件输出地址

参考voc的训练文件和验证文件,发现其中内容就是训练图片和验证图片的保存位置。同样通过一个脚本根据我的数据生成这2个文件。接着建立my.names文件,保存类别名称,一行一个,注意要和Animations里标注的类名一致。这里我的my.names文件如下:

Pedestrian 
Cyclist 
Car 
Truck 
Tram 
Tricycle

好了,my.data文件制作到此结束,接着要制作.cfg了。同样复制一份voc的cfg:

cp cfg/yolov3-voc.cfg cfg/my.cfg

修改如下参数:

[net]
batch=64
subdivisions=16
max_batches=2000
...
[convolutional]
filters=33
[yolo]
classes=6
random=1
...
[convolutional]
filters=33
[yolo]
classes=6
random=1
...
[convolutional]
filters=33
[yolo]
classes=6
random=1

注意:[yolo]和[convolutional]的修改一共有3处,都需要修改。

batch和subdivisions之前说过含义了,就不再讲述了。

  • max_batches:训练的最大轮数,理论上越大越好,原始的是50200,但是这样会比较耗时,所以我先修改到2000,等完成训练后根据效果看看是否要增大。
  • classes:要识别的类别数量。
  • filters:filters = (classes + 5) * 3,这里就是(6 + 5) * 3 = 33。
  • random:如果显存不够大,可以设置为0。

其他cfg参数都没有修改,我们先跑通训练自己的数据,然后再回头来调整一些参数。

至此,.cfg文件也准备好了。我们可以开始训练自己的模型了,建议刚开始自己训练的时候不要准备过大的数据集数量,可以有个50张左右的图片先开始执行就行,先完整体验下后边的训练、测试等步骤,没有错误后,再修改训练集数据量,逐步放大这个过程。

3. 训练自己的模型

准备好以上文件后,通过命令开始训练:

./darknet detector train data/my.data cfg/my.cfg darknet53.conv.74

如果训练到一半终止了,想继续训练可以利用命令:

./darknet detector train data/my.data cfg/my.cfg darknet53.conv.74 backup/xxx.backup

程序输出样式和之前VOC数据训练的输出一样,说明正常开始了。要是没正常开始,会报一些错误,比如有的文件找不到之类的,检查文件名看看是否正确。修改报错,重新训练即可。

一个完备的数据集合训练非常耗时,我用max_batches=50200的配置,在Geforce RTX 2070的GPU下,1.7GB的训练数据,训练了4天才完成。

这个过程我自己在小规模数据集合和小的max_batches上尝试训练了2次,这个过程有助于调整一些配置文件的错误,如果文件有错,最后的.weights文件是不能测试出结果的。可能遇到的错误有:

  1. classes和filters的数量错误,filters = (classes + 5) * 3
  2. 数据集合里的文件名或者地址有错误。
  3. .names里的类别名和数据标注里的类别名不一致,比如大小写不一致造成的。

4. 测试自己的模型

跟VOC数据集上的验证步骤一样,我们需要先修改my.cfg的参数:

[net]
#Testing
batch=1
subdvisions=1
#Trainning
#batch=64
#subdvisions=16

然后使用命令进行测试:

./darknet detector test cfg/my.data cfg/my.cfg backup/my_final.weights data/test.jpg

YOLOv3模型训练和mAP计算

同VOC数据集的效果一样,如果成功,会在项目目录下生成predictions.jpg文件,显示目标识别结果。如下图所示:

YOLOv3模型训练和mAP计算

5. 计算自己模型的mAP

这一步跟刚才基于VOC数据的mAP计算过程一样,先通过命令计算验证集的数据,然后再通过脚本计算mAP。如下:

./darknet detector valid cfg/my.data cfg/my.cfg backup/my_final.weights

在调用计算mAP的脚本前,注意修改代码里的验证集、数据集的路径就行。

最后,自己模型的mAP达到了0.71。

三. 总结

本系列文章共两篇,总结记录了如何从0开始实现一个目标检测算法的过程。关于算法原理的部分可以参看这篇文章《从0开始实现目标检测——原理篇》。我们在这个过程中先学习了目标检测任务的主要原理,找到了衡量模型的指标mAP,接着在众多的模型中选取了YOLOv3作为项目的实现方式,然后在VOC数据集上体验了YOLOv3的训练、测试、验证、计算mAP的全过程,接着在自己的数据集上也造作了训练、测试、验证、计算mAP的全过程,最后得到的模型mAP是0.71。这个过程中的数据集准备是非常重要和关键的,然后我们也积累了一些用于数据集生成和结果验证的脚本。

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

图像转译领域的经典算法:pix2pix详解

2023-11-23 9:32:14

AI教程

Elasticsearch Relevance Engine™ (ESRE™):为AI变革提供高级搜索能力

2023-11-23 9:39:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索