Multi-Scale Context Aggregation by Dilated Convolution训练记录

发布时间:2021-09-24 11:16:11

读完文章后,觉得应该网络框架类似FCN,却可以达到更好的效果。该网络的准确度和花费时间都应该好于FCN-8S,打算funetune一个自己的模型。


首先从测试开始,对于predict.py,我认真研究了他的代码,我来具体说一下他的代码结构:首先读入图片后,得到deploy.prototxt中输入图片的大小,以“dilation10_cityscapes_deploy.prototxt”为例,他的网络结构输入大小是1398*1398,prop输出的大小是1024*1024,差了两倍的margin,这些margin会通过卷积操作卷积没了。cityscape图片的大小是2048*1024的,首先对图片进行打pad,就是边界扩张操作(copyMakeBorder),两边都加上margin大小的边界,得到2420*1396大小的,然后计算滑动窗所需要滑动的次数,滑动窗的大小是1396*1396的。每次截取1396*1396大小的图片,如果发现图片某一轴上小于输入大小1396,那么加pad到1396。然后把这个1396*1396作为输入到网络中,输出1024*1024。最后输出的两个概率结果合并得到最终的结果。


如果是其他的prototxt,比如camvid,那么他是没有加upsampling的,所以输出是(输入大小-2×margin)/8,因此zoom=8,需要通过util.py对图像进行双线性差值来放大8倍。


在训练过程中,我一直有两个疑问,一是在不加入upsampling的情况下,输入的label大小怎么和输出的label大小对应上的,因为输入是输出的8倍,我看了源码image_label_data_layer.cpp中应该有将输入的label放缩到原来的1/8,这样可以加快方向传播的速度。而是这个crop_size的大小是怎么定的,在文章给的caffe源码中,padimage函数中" if (image.rows >= min_size && image.cols >= min_size) {return image; }"其中crop_size主要是对原图进行打pad处理,所以一般crop_size要比输入图片的长或宽大,这样才能打pad。还有一点就是(crop_size-2*magin)一定要倍8整除。比如cityscape的1396-2*186=1024,1024是可以被8整除的,camvid中的1100和900同样如此。
还有文章给的模型一共有三个“front-end,context,joint”,其中主要是front-end模型,context主要是加了上下文的信息,joint是将front-end和context结合起来。
我自己使用的cityscape进行训练的,不过我没有用原图,我缩小到原来的1/2,所以我重新定义了crop_size,去掉了upsamping(原作者提到,之所以在cityscape上使用usampling主要是因为cityscape的分辨率太高原话为“I added an upconv in training cityscapes models because the high resolution of cityscapes data”)。
至于源码中有没有对输入的label进行放缩将后续更新。



更新一下,今天找到可能是源码中的对输入label进行缩放的代码:


SampleScale(&cv_img, &cv_label);





template

void ImageLabelDataLayer::SampleScale(cv::Mat *image, cv::Mat *label) {

ImageLabelDataParameter data_param =

this->layer_param_.image_label_data_param();

if (!data_param.rand_scale())return;

double scale = std::uniform_real_distribution(

data_param.min_scale(), data_param.max_scale())(*rng_);

cv::Sizezero_size(0,0);

cv::resize(*label, *label,cv::Size(0,0),

scale, scale, cv::INTER_NEAREST);



if (scale >1) {

cv::resize(*image, *image, zero_size, scale, scale, cv::INTER_CUBIC);

}else {

cv::resize(*image, *image, zero_size, scale, scale, cv::INTER_AREA);

}

}


其中


cv::resize(*label, *label,cv::Size(0,0),

scale, scale, cv::INTER_NEAREST);应该就是对图片进行了放缩操作。


但是还是没有弄懂GetLabelSlice这个函数是什么意义,不知道有没有大神可以解释一下。




今天终于证实了我的猜测,我通过计算模型的准确率得到的label值是通过缩小了8倍大小的图片,也就是说,在data层作者加入了放缩程序,大小就是stride.

相关文档

  • 高中生提高学习成绩有哪些方法
  • 腌制韭菜花的图解
  • 墨子简介
  • 前台接待的辞职报告
  • java-eclipse-tomcat-jsp 怎么将打包好的war包用eclipse打开??
  • 2017证券从业资格《市场基本法律法规》练习考试题型及答案
  • 赛尔号谱尼怎么获得
  • keil error : invalid ROM table解决办法
  • 销售半年总结怎么写_销售个人半年总结及下半年计划范文
  • EasyCVR视频平台用iframe集成播放页报错“无法打开麦克风”排查及修复
  • 雪容融作文集锦6篇
  • 铁桶适合养什么花
  • 厂家与XX合作协议书范本
  • 《给教师的建议》读书心得
  • 平面设计课程教学大纲
  • 北京义务教育新版图浮出水面
  • 关于禁毒的宣传知识和危害有哪些
  • 有关幼儿读书的励志名句
  • 解决错误com/fasterxml/jackson/core/StreamWriteFeature nested exception is java.lang.NoClassDefFoundError
  • 高德地图坐标转换百度地图坐标-Java
  • 不使用框架的JavaWeb
  • 鬼谷子是诸葛亮的师父麻烦详细介绍下鬼谷子
  • 八年级生物学习建议与八年级上册生物知识点
  • 中秋节初中作文500字
  • 李克强:鼓励高校向企业转移科技成果
  • 端午节去哪里玩_端午节去哪旅游好?
  • cesium加载wms服务其他区域被白膜遮盖
  • 私房香辣豆腐
  • 气象局副局长2020年工作总结
  • 精彩的保护地球公益广告宣传语
  • 猜你喜欢

  • 向后飞翔
  • 辽宁省建筑业内资企业(按登记注册类型)数量情况数据专题报告2019版
  • [转载]基于数据挖掘技术入侵检测系统研究
  • 在软件开发的意义论文
  • 高中数学 初高中衔接教材 第22课时 函数复*学案(无答案)苏教版
  • 我到底该怎么做?
  • 服饰中有种材料叫PVC那是什么材料呢
  • 出纳员工作总结4篇
  • 【K12学*】关于我在读书中成长的小学六年级作文
  • 九年级暑假日记范文:狂热的暑假600字
  • 保持共产党员先进性教育活动心得体会--提高素质 开拓创新 把保持党员先进性落实到实际工作中去
  • 人教A版高中数学必修五第三章3.3.1.docx
  • 最新【名师金典】版高考数学大一轮复*+课时限时检测*面向量的基本概念及线性运算优秀名师资料
  • 人教版四年级语文上册 12小木偶的故事(教学反思优质参考)小木偶的故事 教案
  • 安全用电常识-PPT课件
  • 2020年广东省东莞市中考化学复习题 (89)
  • 【K12学*】四年级上册《Storytime》导学案苏教版
  • 自动控制原理(胡寿松)50经典自动控制原理
  • 2015年少女时代中国巡回演唱会招商方案讲义
  • 政府采购监督机制存在的问题与改进建议
  • 感恩父母蓝金
  • 部编版初中语文八年级上册《16大自然的语言》PPT课件 (9)
  • 2012年7月护士考试题A卷
  • 移动端多人视频通话软件开发(二)-- 架构
  • 文化经纪人的规范管理
  • 电子版产品代理合同模板
  • 心系群众,增强教务管理的服务意识
  • 2019年贵阳项目前期市场调研报告2
  • 2019高三地理名校试题汇编1-专项4地表形态的塑造(学生版)
  • 001-统表2_建筑给水排水及采暖分项工程质量验收记录
  • 中央电大2010-2011学年度第一学期期末考试园艺专业农科基础化学试题2011年1月
  • 高考作文如何快速选材ppt
  • 人教版初中英语全5册英语单词汇总-超全版
  • 木塑铝合金复合材料项目可行性研究报告立项申请报告范文
  • 桥梁桩基冲击钻孔施工时水下混凝土灌注要求
  • Are invasive species the drivers of ecological change?
  • 燃气调压器项目投资意向书
  • 2020年学生会宣传部工作总结和工作计划
  • 2019年八年级数学下册 12.2 二次根式的乘除学案1(新版)苏科版.doc
  • 乡镇卫生整顿工作方案
  • 好听的电视台背景音乐总汇
  • 中小学公民教育现状与对策研究
  • 电脑版