基于U-Net 的粮仓储粮高度定量检测方法

doi:10.15933/j.cnki.1004-3268.2024.11.017

河南农业科学 ›› 2024, Vol. 53 ›› Issue (11): 156-163.DOI: 10.15933/j.cnki.1004-3268.2024.11.017

• 农业信息与工程·农产品加工 • 上一篇下一篇

基于U-Net 的粮仓储粮高度定量检测方法

任飞燕^1,2，张蕙^1,2，李智^1,2，杨卫东¹，张艳飞^1,2，陈卫东³，谈云建⁴，柳瑞芸⁴

（1.河南省粮食光电探测与控制重点实验室，河南郑州 450001；2.河南工业大学信息科学与工程学院，河南郑州 450001；3.河南工业大学粮食和物资储备学院/粮食储运国家工程研究中心，河南郑州 450001；4.华信咨询设计研究院有限公司，浙江杭州 310051）

收稿日期:2024-06-20 出版日期:2024-11-15 发布日期:2024-12-19
通讯作者: 李智（1985-），男，河南郑州人，副教授，博士，主要从事计算机视觉研究。E-mail：lizhi@haut.edu.cn
作者简介:任飞燕（2000-），女，河南洛阳人，在读硕士研究生，研究方向：计算机视觉。E-mail：renfeiyan2023@163.com
基金资助:
河南省杰出青年基金项目（222300420004）

Quantitative Detection Method of Grain Storage Height in Grain Silos Based on U‑Net

REN Feiyan^1,2，ZHANG Hui^1,2，LI Zhi^1,2，YANG Weidong¹，ZHANG Yanfei^1,2，CHEN Weidong³，TAN Yunjian⁴，LIU Ruiyun⁴

（1.Henan Province Key Laboratory of Grain Photoelectric Detection and Control，Zhengzhou 450001，China；2.College of Information Science and Engineering，Henan University of Technology，Zhengzhou 450001，China；3.School of Food and Strategic Reserves，Henan University of Technology，National Engineering Research Center of Grain Storage and Logistics，Zhengzhou 450001，China；4.Huaxin Consulting Design and Research Institute Co.，Ltd.，Hangzhou 310051，China）

Received:2024-06-20 Published:2024-11-15 Online:2024-12-19

摘要/Abstract

摘要： 我国储粮分布具有点多、线长、面广的特点，传统的粮食数量监管面临着效率低、成本高、严重滞后等问题，亟需研发可对粮仓储粮数量实时快速检测的新技术。针对该问题，提出一种基于U-Net的粮仓储粮高度定量检测方法，通过对仓内监控相机拍摄的图片中粮面和通风窗进行分割处理，得到粮面边缘和通风窗上下边缘像素值，并以通风窗上下边缘的离地高度为基础，计算得到粮仓储粮的实际高度，再结合粮仓长度、宽度和粮食密度等基础数据，即可得到粮仓储粮实际数量。分别使用U-Net、DeepLabV3+和PSPNet 3种算法对分割后的粮仓图片进行分析处理并计算储粮高度。结果表明，U-Net的平均交并比（MIoU）和平均像素准确度（MPA）分别为93.25%和95.88%，MIoU相较于DeepLabV3+和PSPNet 分别提高1.82、2.69 百分点，MPA 相较于PSPNet 提高2.42 百分点；U-Net 的定量分析误差为3.51%，比DeepLabV3+和PSPNet分别低1.34、0.43百分点，较为适合作为粮仓储粮高度定量计算分割算法。该方法无需提前设置测量标尺，仅依靠仓内监控相机即可实现粮堆高度测量，可基本满足粮仓储粮数量的快速检测需求。

关键词: 粮仓储粮数量, 储粮高度, 语义分割, U-Net, 定量分析, 计算机视觉

Abstract: Due to the distribution of grain storage in China is characterized by many points，long lines and wide areas，the traditional method of monitoring grain quantity is struggling with low efficiency，high costs，and significant delays.There is an urgent need to research and develop a new technology that can perform real‑time and rapid detection of the quantity of grain stored in grain silos.To address the problem，we proposed a quantitative detection method of grain storage height in grain silos based on U‑Net.By segmenting the grain surface and ventilation windows in pictures captured by monitoring cameras in the grain warehouse，we obtained pixel values of the edge of the grain surface and the upper and lower edges of the ventilation window.Taking into account the height of the ventilation window’s upper and lower edges above and below the ground，we could determine the actual height of grain storage in the grain silo. Subsequently，merged with the length，width，grain density，and other fundamental data，we obtained the actual quantity of grain stored in the grain silo.In this study，the height of grain storage was calculated by analyzing and processing the segmented soil images using U‑Net，DeepLabV3+，and PSPNet algorithms respectively.The experimental results showed that the mean intersection over union（MIoU）reached 93.25%，which was 1.82 and 2.69 percentage points higher than that of DeepLabV3+and PSPNet，respectively.The mean pixel accuracy（MPA）reached 95.88%，which was 2.42 percentage points higher compared with PSPNet.The quantitative analysis error of U‑Net was 3.51%，which was 1.34 and 0.43 percentage points lower compared with DeepLabV3+ and PSPNet，respectively.U‑Net was more suitable as a segmentation algorithm for quantitative calculation of grain storage height in granaries.It is not necessary to set up the measuring scale beforehand and with this method.By relying solely on the monitoring camera inside the warehouse，the height measurement of grain pile can be achieved，which can effectively meet the fast detection requirements for the quantity of grain stored in the warehouse.

Key words: Quantity of grain stored in granaries, Grain storage height, Semantic segmentation, U?Net, Quantitative analysis, Computer vision

中图分类号:

S126

任飞燕, 张蕙, 李智, 杨卫东, 张艳飞, 陈卫东, 谈云建, 柳瑞芸. 基于U-Net 的粮仓储粮高度定量检测方法[J]. 河南农业科学, 2024, 53(11): 156-163.

REN Feiyan, ZHANG Hui, LI Zhi, YANG Weidong, ZHANG Yanfei, CHEN Weidong, TAN Yunjian, LIU Ruiyun. Quantitative Detection Method of Grain Storage Height in Grain Silos Based on U‑Net[J]. Journal of Henan Agricultural Sciences, 2024, 53(11): 156-163.

参考文献

［1］杨尚钊，张宏胜，李超芹，等.我国粮食安全的现状、问题及对策［J］.粮食问题研究，2023（1）：14-17.

YANG S Z，ZHANG H S，LIC Q，et al.Current situation，problems and countermeasures of China’s food security［J］.Grain Issues Research，2023（1）：14‑17.

[2］李士萌 .如何守住粮食安全底线？［J］.中国报道， 2023（6）：24‑26.

LI S M.How to hold the bottom line of food security？［J］.China Report，2023（6）：24‑26.

［3］李智，张艳飞，杨卫东，等.粮仓粮食数量监测技术研究现状与展望［J］.中国粮油学报，2023，38（10）：243‑249.

LI Z，ZHANG Y F，YANG W D，et al. Research status and prospect of grain quantity monitoring technology in granaries［J］.Journal of the Chinese Cereals and Oils Association，2023，38（10）：243‑249.

［4］宋锋，罗菊.散装稻谷实物清查应用方法探析［J］.粮食流通技术，2010（5）：22‑25.

SONG F，LUO J.A discussion of the application of checkin kind on bulk paddy［J］.Grain Distribution Technology，2010（5）：22‑25.

［5] 国家发展和改革委员会，国家粮食和物资储备局，财政部，等 .粮食库存检查办法［ EB/OL］.（2022‑12‑23）［2024‑01‑20］.http：//www.lswz.gov.cn/html/zcfb/ 2023‑01/06/content_273342.shtml.

National Development and Reform Commission，National Food and Strategic Reserves Administration，Ministry of Finance，et al. Measures for checking grain inventory［EB/ OL］.（2022‑12‑23）［2024‑01‑20］.http：//www.lswz.gov.cn/html/zcfb/2023‑01/06/content_273342. shtml.

［6] 张德贤，张苗，张庆辉，等.基于底面压强的粮仓储量估测方法［J］.农业工程学报， 2017，33（10）：287‑294.

ZHANG D X，ZHANG M，ZHANG Q H，et al. Granary storage quantity detection method based on bottom pressure estimation［J］.Transactions of the ChineseSociety of Agricultural Engineering，2017，33（10）： 287‑294.

［7］张德贤，杨铁军，傅洪亮，等.粮仓储粮数量在线检测模型［J］.自动化学报， 2014，40（10）：2213‑2220.

ZHANG D X，YANG T J，FU H L，et al.An onlinedetection model of granary storage quantity［J］.Acta Automatica Sinica，2014，40（10）：2213‑2220.

［8］许启铿，周晓军，吴强，等.便携式粮食库存数量检测设备研发及应用［J］.粮油食品科技， 2023，31（2）：41‑46.

XU Q K，ZHOU X J，WU Q，et al.Research and application of portable grain inventory measurement equipment［J］.Science and Technology of Cereals，Oils and Foods，2023，31（2）：41‑46.

［9］杨勇 .智能化粮库计量技术与综合管理系统的研究与实现［D］.西安：陕西科技大学， 2012.

YANG Y.Research and application of measurement technology and integrated management system in intelligent grain depot［D］.Xi’an：Shaanxi University of Science & Technology，2012.

［10］张福钊，李成，于海华，等. 3D雷达扫描技术在粮油行业料位监控中的应用研究［ J］.粮食与食品工业， 2020，27（3）：50‑51.

ZHANG F Z，LI C，YU H H，et al.The applicationresearch of 3D radar scanning technology in levelmonitoring of grain and oil industry［J］.Cereal & Food Industry，2020，27（3）：50‑51.

[11］刘永 .基于图像处理的袋装仓粮食数量智能测算的研究［D］.重庆：重庆交通大学， 2009.

LIU Y.Study for packaged granary grain quantityintelligent reckoning based on image processing［D］.Chongqing：Chongqing Jiaotong University，2009.

［12］方兴林 .基于双目立体视觉的储备粮数量智能识别算法研究［D］.重庆：重庆交通大学， 2009. FANG X L.

Reserve grain quantity intelligent recognition algorithm research based on binocular stereo vision［D］.Chongqing：Chongqing Jiaotong University，2009.

［13］田萱，王亮，丁琪 .基于深度学习的图像语义分割方法综述［J］.软件学报， 2019，30（2）：440‑468.

TIAN X，WANG L，DING Q.Review of imagesemantic segmentation based on deep learning［J］.Journal of Software，2019，30（2）：440‑468.

［14］韦钙兴，易文龙，刘昱成，等.基于改进 U-Net的水稻叶片细胞分割方法研究［J］.河南农业科学， 2023，52

（3）：153‑160.WEI G X，YI W L，LIU Y C，et al.

Research onimproved U‑Net method for rice leaf cell segmentation［J］.Journal of Henan Agricultural Sciences，2023，52（3）：153‑160.

［15］吕宗旺，王玉琦，孙福艳 .基于改进 U-Net的不同容重小麦籽粒识别检测［J］.河南农业科学， 2023，52（10）：141‑152.

LÜ Z W，WANG Y Q，SUN F Y.Identification anddetection of wheat kernels with different volume weight based on improved U‑Net［J］.Journal of Henan Agricultural Sciences，2023，52（10）：141‑152.

［16］乌兰，苏力德，贾立国，等.基于改进 DeepLabv3+网络的马铃薯根系图像分割方法［ J］.农业工程学报， 2023，39（3）：134‑144.

WU L，SU L D，JIA L G，et al. Image segmentation ofpotato roots using an improved DeepLabv3+ network［J］.Transactions of the Chinese Society of Agricultural Engineering，2023，39（3）：134‑144.

［17］孙君顶，张宏英 . DMDR-UNet：一种眼底视网膜血管分割算法［J］.河南理工大学学报（自然科学版），2023，42（6）：142‑148.

SUN J D，ZHANG H Y. DMDR‑UNet：An algorithm for retinal blood vessel segmentation［J］.Journal of Henan Polytechnic University（Natural Science），2023，42（6）：142‑148.

［18］ XUW J，ZHU Q.A semantic segmentation methodwith emphasis on the edges for automatic vessel wallanalysis［J］.Applied Sciences，2022，12（14）：7012.

［19］王一，龚肖杰，苏皓 .基于改进 U-net的金属工件表面缺陷图像分割方法［ J］.应用光学， 2023，44（1）：86‑92.

WANG Y，GONG X J，SU H. Image segmentationmethod of surface defects for metal workpieces basedon improved U‑net［J］.Journal of Applied Optics，2023，44（1）：86‑92.

［20］赵鹤，杨晓洪，杨奇，等.融合注意力机制的金属缺陷图像分割方法［ J］.光电子·激光， 2021，32（4）： 403‑408.

ZHAO H，YANG X H，YANG Q，et al.Metal defectimage segmentation algorithm combined with attentionmechanism［J］.Journal of Optoelectronics·Laser，2021，32（4）：403‑408.

［21］建瑞博，蔡智勇，杨自尚，等.基于 U-Net的田间小麦收获边界图像分割方法研究［J］.河南农业大学学报， 2023，57（3）：444‑450.

JIAN R B，CAI Z Y，YANG Z S，et al.Research on image segmentation method of field wheat harvest boundary based on U‑Net［J］.Journal of Henan Agricultural University，2023，57（3）：444‑450.

［22］曾镜源，洪添胜，杨洲 .基于实例分割的柚子姿态识别与定位研究［J］.河南农业大学学报， 2021，55（2）：287‑294.

ZENG J Y，HONG T S，YANG Z. Research on pomelo pose recognition and location based on instance segmentation［J］.Journal of Henan Agricultural University，2021，55（2）：287‑294.

［23］LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation［C］// 2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，MA，USA：IEEE，2015：3431‑3440.

［24］RONNEBERGER O，FISCHER P，BROX T. U‑net：Convolutional networks for biomedical image segmentation［M］//Lecture notes in computer science. Cham： Springer International Publishing，2015：234‑241.

［25］CHEN L C，HU Y，PAPANDREOU G，et al.Encoder‑decoder with atrous separable convolution forsemantic image segmentation［M］//Lecture notes in computer science. Cham：Springer International Publishing，2018：833‑851.

［26］ZHAO H S，SHI J P，QI X J，et al.Pyramid scene parsing network［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu，HI，USA：IEEE，2017：6230‑6239.

［27］莫小琴 .基于最小二乘法的线性与非线性拟合［J］.无线互联科技， 2019，16（4）：128‑129.

MO X Q.Linear and nonlinear fitting based on leastsquares method［J］.Wireless Internet Technology，2019，16（4）：128‑129.

［28］吴九牛，高德成，蒋维栋，等.基于箱线图的插值法在空盒气压表数据处理中的应用［J］.工业仪表与自动化装置， 2023（3）：93‑98.

WU J N，GAO D C，JIANG W D，et al.Application of interpolation method based on box plots in data processing of aneroid barometer［J］.Industrial Instrumentation & Automation，2023（3）：93‑98.

[1]	李敏, 郭雷风, 王瑞利. 无人机遥感在马铃薯田间表型研究中的应用[J]. 河南农业科学, 2023, 52(9): 24-32.
[2]	李伟豪, 詹炜, 周婉, 韩涛, 王佩文, 刘虎, 熊梦园, 孙泳, . 轻量型Yolov7-TSA 网络在茶叶病害检测识别中的研究与应用[J]. 河南农业科学, 2023, 52(5): 162-169.
[3]	韦钙兴, 易文龙, 刘昱成, 赵应丁, 陈庭倬. 基于改进U-Net 的水稻叶片细胞分割方法研究[J]. 河南农业科学, 2023, 52(3): 153-160.
[4]	张红涛, 罗一铭, 谭联, 杨加蓬, 王宇. 基于迁移学习和残差网络的谷子病害识别研究[J]. 河南农业科学, 2023, 52(12): 162-171.
[5]	吕宗旺, 王玉琦, 孙福艳. 基于改进U-Net 的不同容重小麦籽粒识别检测[J]. 河南农业科学, 2023, 52(10): 141-152.
[6]	董燕, 李环宇, 李卫杰, 李春雷, 刘洲峰. 基于联合剪枝深度模型压缩的种子分选方法研究[J]. 河南农业科学, 2022, 51(1): 162-170.
[7]	冯晓, 李丹丹, 王文君, 郑国清, 刘海礁, 孙永胜, 梁山, 杨莹, 臧贺藏, 张辉. 基于轻量级卷积神经网络和迁移学习的小麦叶部病害图像识别[J]. 河南农业科学, 2021, 50(4): 174-180.
[8]	李国强, 张建涛, 李亚丽, 周萌, 陈丹丹, 胡峰, 辛银平, 郑国清. 芝麻株高和叶龄对盛花期渍水响应的定量分析[J]. 河南农业科学, 2020, 49(10): 48-55.
[9]	聂容春，罗乐，王允雨，徐初阳，降林华，段宁. 样品的消解方法对定量分析重金属元素的影响[J]. 河南农业科学, 2012, 41(11): 74-77.
[10]	刘小飞, 周密密, 刘振湘. 用AMS-V 型动物血细胞定量分析法监测犬瘟热治疗效果的研究[J]. 河南农业科学, 2011, 40(6): 145-148.

基于U-Net 的粮仓储粮高度定量检测方法

Quantitative Detection Method of Grain Storage Height in Grain Silos Based on U‑Net

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 10

编辑推荐

Metrics