基于改进U-Net 的不同容重小麦籽粒识别检测

doi:10.15933/j.cnki.1004-3268.2023.10.015

摘要/Abstract

摘要： 小麦质量等级检测过程中，容重是一项非常重要的指标。人工检测和传统图像处理方法在小麦质量等级检测方面存在设备昂贵、识别效率低等问题，需要进一步改进。采用自制3种等级小麦籽粒样品作为小麦容重数据集，针对小麦籽粒目标小、边缘分割不清晰等特点对U-Net网络进行改进。在主干网络上，采用残差堆叠模块来减少特征损失，在网络桥接部分嵌入CBAM注意力机制模块来加强对特征的进一步提取，在解码器部分嵌入自注意力机制模块，还原细节信息。结果表明，改进网络模型CBSA_U-Net 的平均交并比（MIoU）为81.5%，比U-Net 模型提升了1.8 百分点，相较于PSPNet、DeepLabv3+模型分别提升了4.2、3.3百分点。

关键词: 小麦, 质量等级, 籽粒识别, 容重, 残差模块, 注意力机制, U-Net模型, 分割

Abstract: Volume weight is a very important index in the process of wheat quality grade detection.Manual detection and traditional image processing methods have problems such as expensive equipment and low recognition efficiency in wheat quality grade detection，which need to be further improved.The self‑made three grades of wheat grain samples were used as the wheat volume weight dataset，and the U‑Net network was improved according to the characteristics of small grain targets and unclear edge segmentation.On the backbone network，the residual stacking module was used to reduce the feature loss，the CBAM attention mechanism module was embedded in the network bridging part to enhance the further extraction of the features，and the self‑attention mechanism module was embedded in the decoder part to restore the detail information. The results showed that MIoU of the improved network model CBSA_U‑Net was 81.5%，which was 1.8 percentage points higher than U‑Net model，4.2 percentage points higher than PSPNet and 3.3 percentage points higher than DeepLabv3+ model.

Key words: Wheat, Quality grade, Kernel identification Volume weight, Residual module, Attention mechanism, U?Net model, Segmentation

中图分类号:

S126

吕宗旺, 王玉琦, 孙福艳. 基于改进U-Net 的不同容重小麦籽粒识别检测[J]. 河南农业科学, 2023, 52(10): 141-152.

LÜ Zongwang, WANG Yuqi, SUN Fuyan. Identification and Detection of Wheat Kernels with Different Volume Weight Based on Improved U‑Net[J]. Journal of Henan Agricultural Sciences, 2023, 52(10): 141-152.

参考文献

［1］ZIEGLER V，PARAGINSKI R T，FERREIRA C D.Grain storage systems and effects of moisture，temperature and time on grain quality‑A review［J］.Journal of Stored Products Research，2021，91：101770.
［2］吴文福，乌云山丹，陈凯，等.机理/数据联合驱动储备粮数字监管智能方法［J］.粮油食品科技，2023，31（2）：11‑17.
WU W F，WUYUN S D，CHEN K，et al.The digital intelligence method for stored grain supervision based on mechanism and data［J］.Science and Technology of Cereals，Oils and Foods，2023，31（2）：11‑17.
［3］刘小晶，徐鲲.国家粮食安全的研究现状、热点及展望：基于CiteSpace知识图谱分析［J］.新疆农垦经济，2023（5）：50‑60.
LIU X J，XU K. The research status，hot issues and prospects of national food security：Knowledge map analysis based on CiteSpace［J］.Xinjiang State Farms Economy，2023（5）：50‑60.
［4］权威，马锦绣，华正蓉，等.我国部分审定小麦品种的品质性状及基因型分析［J］.植物遗传资源学报，2023，24（3）：701‑718.
QUAN W，MA J X，HUA Z R，et al.Quality analysis in a collection of wheat varieties approved in China［J］.Journal of Plant Genetic Resources，2023，24（3）：701‑718.
［5］REN D Y，DING C Q，QIAN Q.Molecular bases of rice grain size and quality for optimized productivity［J］.Science Bulletin，2023，68（3）：314‑350.
［6］赵越，卫勇，单慧勇，等.基于深度学习的高分辨率麦穗图像检测方法［J］.中国农业科技导报，2022，24（9）：96‑105.
ZHAO Y，WEI Y，SHAN H Y，et al.Wheat ear detection method based on deep learning［J］.Journal of Agricultural Science and Technology，2022，24（9）：96‑105.
［7］王泽辉，王储炎，陈朝明，等.小麦不完善粒检测技术研究进展［J］.粮食与油脂，2022，35（10）：13‑16.
WANG Z H，WANG C Y，CHEN Z M，et al.Research progress of wheat imperfect grain detection technology［J］.Cereals & Oils，2022，35（10）：13‑16.
［8］郝王丽，尉培岩，韩猛，等.基于YOLOv3网络的小麦麦穗检测及计数［J］.湖北农业科学，2021，60（2）：158‑160，183.
HAO W L，WEI P Y，HAN M，et al.Detection and counting of wheat ears based on YOLOv3 network［J］.Hubei Agricultural Sciences，2021，60（2）：158‑160，183.
［9］SABANCI K，ASLAN M F，ROPELEWSKA E，et al.A novel convolutional‑recurrent hybrid network for sunn pest‑damaged wheat grain detection［J］.Food Analytical Methods，2022，15（6）：1748‑1760.
［10］钟海林，张润何，赵超敏，等.基于便携式高灵敏X射线荧光光谱技术快速检测小麦粉中砷、镉、铅含量的研究［J］.中国食品卫生杂志，2022，34（4）：744‑749.
ZHONG H L，ZHANG R H，ZHAO C M，et al.Rapid detection of arsenic，cadmium and lead content in wheat flour by portable high‑sensitivity X‑ray fluorescence spectroscopy technology［J］.Chinese Journal of Food Hygiene，2022，34（4）：744‑749.
［11］岳佳铭，丛晓翔，李曼莉.多光谱成像技术在种子质量检测研究中的应用［J］.种子，2021，40（10）：129‑135.
YUE J M，CONG X X，LI M L.Application of multispectral imaging technology in seed quality detection［J］.Seed，2021，40（10）：129‑135.
［12］SRIVASTAVA P， SHUKLA A， BANSAL A.A comprehensive review on soil classification using deep learning and computer vision techniques ［J］.Multimedia Tools and Applications，2021，80（10）：14887‑14914.
［13］袁艳鹏，汪宇玲.纹理特征提取方法综述［J］.电子技术应用，2023，49（6）：9‑17.
YUAN Y P，WANG Y L.A review of texture feature extraction methods［J］.Application of Electronic Technique，2023，49（6）：9‑17.
［14］ZHANG W M，MA H M，LI X H，et al.Imperfect wheat grain recognition combined with an attention mechanism and residual network［J］.Applied Sciences，2021，11（11）：5139.
［15］刘永波，胡亮，曹艳，等.基于U-Net的玉米叶部病斑分割算法［J］.中国农学通报，2021，37（5）：88‑95.
LIU Y B，HU L，CAO Y，et al.Image segmentation for maize leaf disease based on U‑Net［J］.Chinese Agricultural Science Bulletin，2021，37（5）：88‑95.
［16］王璨，武新慧，张燕青，等.基于双注意力语义分割网络的田间苗期玉米识别与分割［J］.农业工程学报，2021，37（9）：211‑221.
WANG C，WU X H，ZHANG Y Q，et al.Recognition and segmentation of maize seedlings in field based on dual attention semantic segmentation network［J］.Transactions of the Chinese Society of Agricultural Engineering，2021，37（9）：211‑221.
［17］MINAEE S，BOYKOV Y，PORIKLI F，et al.Image segmentation using deep learning：A survey［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44（7）：3523‑3542.
［18］王梁，侯义锋，贺杰.基于Mask-RCNN的自然场景下油茶果目标识别与检测［J］.中国农机化学报，2022，43（12）：148‑154，189.
WANG L，HOU Y F，HE J.Target recognition and detection of camellia oleifera fruit in natural scene based on Mask‑RCNN［J］.Journal of Chinese Agricultural Mechanization，2022，43（12）：148‑154，189.
［19］戴雨舒，仲晓春，孙成明，等.基于图像处理和Deeplabv3+模型的小麦赤霉病识别［J］.中国农机化学报，2021，42（9）：209‑215.
DAI Y S，ZHONG X C，SUN C M，et al.Identification of fusarium head blight in wheat‑based on image processing and Deeplabv3+ model［J］.Journal of Chinese Agricultural Mechanization，2021，42（9）：209‑215.
［20］陈鹏，马子涵，章军，等.融合注意力机制的小麦赤霉病语义分割网络［J］.中国农机化学报，2023，44（4）：145‑152.
CHEN P，MA Z H，ZHANG J，et al.Semantic segmentation network based on attention mechanism for wheat FHB［J］.Journal of Chinese Agricultural Mechanization，2023，44（4）：145‑152.
［21］ZHANG T X，XU Z Y，SU J Y，et al.Ir‑UNet：Irregular segmentation U‑shape network for wheat yellow rust detection by UAV multispectral imagery［J］.Remote Sensing，2021，13（19）：3892.
［22］邓杨，王粤，尚玉婷.基于深度学习的大米垩白分割算法研究［J］.中国粮油学报，2021，36（4）：139‑144.
DENG Y，WANG Y，SHANG Y T.Research on chalkiness rice segmentation algorithm based on deep learning［J］.Journal of the Chinese Cereals and Oils Association，2021，36（4）：139‑144.
［23］WANG H D， XU G， PAN X P， et al.Attention‑inception‑based U‑Net for retinal vessel segmentation with advanced residual［J］.Computers&Electrical Engineering，2022，98：107670.
［24］LIU G Q，BAI L，ZHAO M Q，et al.Segmentation of wheat farmland with improved U‑Net on drone images［J］.Journal of Applied Remote Sensing，2022，16（3）：034511.
［25］林禹，赵泉华，李玉.一种基于深度传递迁移学习的遥感影像分类方法［J］.地球信息科学学报，2022，24（3）：495‑507.
LIN Y，ZHAO Q H，LI Y.A remote sensing image classification method based on deep transitive transfer learning［J］.Journal of Geo‑information Science，2022，24（3）：495‑507.
［26］REN S，LIU X，LIU H Y，et al.Cultivated land segmentation of remote sensing image based on PSPNet of attention mechanism［J］.International Journal of Robotics and Automation，2022（1）：37.
［27］ZHAO J L，LI Z，LEI Y，et al.Application of UAV RGB images and improved PSPNet network to the identification of wheat lodging areas［J］.Agronomy，2023，13（5）：1309.
［28］孙志同，朱珊娜，高郑杰，等.基于波段增强的DeepLabv3+多光谱影像葡萄种植区识别［J］.农业工程学报，2022，38（7）：229‑236.
SUN Z T，ZHU S N，GAO Z J，et al.Recognition of grape growing areas in multispectral images based on band enhanced Deeplabv3+［J］.Transactions of the Chinese Society of Agricultural Engineering，2022，38（7）：229‑236.
［29］杨洁洁，杨顶.基于深度学习的语义分割综述［J］.长江信息通信，2022，35（2）：69‑72.
YANG J J， YANG D. Overview of semantic segmentation based on deep learning［J］.Changjiang Information&Communications，2022，35（2）：69‑72.
［30］张淑军，彭中，李辉.SAU-Net：基于U-Net和自注意力机制的医学图像分割方法［J］.电子学报，2022，50（10）：2433‑2442.
ZHANG S J，PENG Z，LI H.SAU‑Net：Medical image segmentation method based on U‑Net and self‑attention
［J］.Acta Electronica Sinica， 2022， 50 （10）：2433‑2442.
［31］张鑫，姚庆安，赵健，等.全卷积神经网络图像语义分割方法综述［J］.计算机工程与应用，2022，58（8）：45‑57.
ZHANG X，YAO Q A，ZHAO J，et al.Image semantic segmentation based on fully convolutional neural network［J］.Computer Engineering and Applications，2022，58（8）：45‑57.
［32］张侣，周博文，吴亮红.基于改进卷积注意力模块与残差结构的SSD网络［J］.计算机科学，2022，49（3）：211‑217.
ZHANG L，ZHOU B W，WU L H.SSD network based on improved convolutional attention module and residual structure［J］.Computer Science，2022，49（3）：211‑217.
［33］马志钢，南新元，高丙朋，等.基于改进YOLOv5的人员检测方法研究［J］.科学技术与工程，2023，23（8）：3363‑3369.
MA Z G，NAN X Y，GAO B P，et al.Human detection method based on improved YOLOv5［J］.Science Technology and Engineering，2023，23（8）：3363‑3369.
［34］李元诚，杨珊珊.基于改进自注意力机制生成对抗网络的智能电网GPS欺骗攻击防御方法［J］.电力自动化设备，2021，41（11）：100‑106.
LI Y C，YANG S S.Defense method of smart grid GPS spoofing attack based on improved self‑attention generative adversarial network［J］.Electric Power Automation Equipment，2021，41（11）：100‑106.
［35］史朋飞，韩松，倪建军，等.结合数据增强和改进YOLOv4的水下目标检测算法［J］.电子测量与仪器学报，2022，36（3）：113‑121.
SHI P F，HAN S，NI J J，et al.Underwater object detection algorithm combining dataenhancement and improved YOLOv4［J］.Journal of Electronic Measurement and Instrumentation，2022，36（3）：113‑121.
［36］CHATTERJEE S，HAZRA D，BYUN Y C，et al.Enhancement of image classification using transfer learning and GAN‑Based synthetic data augmentation［J］.Mathematics，2022，10（9）：1541.
［37］于营，王春平，付强，等.语义分割评价指标和评价方法综述［J］.计算机工程与应用，2023，59（6）：57‑69.
YU Y，WANG C P，FU Q，et al.Survey of evaluation metrics and methods for semantic segmentation［J］.Computer Engineering and Applications，2023，59（6）：57‑69.
［38］PAVĂL S D，CRAUS M.Reaction‑diffusion model applied to enhancing U‑Net accuracy for semantic image segmentation［J］.Discrete and Continuous Dynamical Systems‑S，2023，16（1）：54‑74.

[1]	徐春燕, 张倩, 王雅娴, 王红雨, 盛开, 王宜伦. 商品有机肥对砂质潮土理化性状、冬小麦产量及养分积累的影响[J]. 河南农业科学, 2024, 53(2): 56-64.
[2]	王俊美, 李亚红, 徐飞, 杨共强, 冯超红, 李好海, 宋玉立. 腥掷孢酵母17wy1 的分离、鉴定及对小麦白粉病防效初探[J]. 河南农业科学, 2024, 53(2): 101-107.
[3]	李东亚, 白涛, 香慧敏, 戴硕, 王震鲁, 陈珍. 基于RoBERTa 多特征融合的棉花病虫害命名实体识别[J]. 河南农业科学, 2024, 53(2): 152-161.
[4]	于雁南, 莫泳彬, 严继池, 熊春林, 窦世卿, 杨荣峰. 基于改进ShuffleNet V2 的柑橘病害识别研究[J]. 河南农业科学, 2024, 53(1): 142-151.
[5]	连延浩, 杜飞波, 薛博, 王志强, 任永哲, 林同保, 李森. 垄作结合一次性施肥对冬小麦氮素利用及经济效益的影响[J]. 河南农业科学, 2023, 52(9): 56-65.
[6]	赵立尚, 王香生, 高楠楠, 韩鹏彬, 李杰, 任永哲, 林同保, 王志强, 连延浩. 2 种基因型小麦间作对籽粒灌浆特性及产量的影响[J]. 河南农业科学, 2023, 52(8): 18-25.
[7]	李海泳, 李梦钰, 高闯, 许豪, 殷贵鸿, 董纯豪, 牛吉山, 李巧云. 小麦对Bipolaris sorokiniana黑胚病与苗期叶枯病抗性的相关性[J]. 河南农业科学, 2023, 52(8): 96-104.
[8]	郝紫瑞, 贾玉库, 葛子菲, 毕新铜, 张剑, 谢迎新, 王晨阳, 马冬云. 不同黑小麦品种面粉及馒头品质分析[J]. 河南农业科学, 2023, 52(8): 163-170.
[9]	张科谦, 程钢, 吴微, 宋向阳, 张子谦, 姚顺, 吴帅. 融合主被动遥感影像的冬小麦种植面积提取研究[J]. 河南农业科学, 2023, 52(6): 160-171.
[10]	熊瑞, 张玮, 钟康裕, 周文涛, 欧茜, 王泓睿, 龙攀, 徐莹, 傅志强. 秸秆还田与轮耕对双季稻土壤物理特性及碳氮含量的影响[J]. 河南农业科学, 2023, 52(5): 81-90.
[11]	张强, 吴利民, 李朋燕, 赵娜, 户申奥, 陆宁海. 小麦茎基腐病拮抗菌发酵条件优化及稳定性评价[J]. 河南农业科学, 2023, 52(5): 121-129.
[12]	陈泽东, 师焕婷, 董殿琪, 王亚鑫, 王金凤, 虞波, 王鹏飞, 康国章. 不同小麦品种（系）耐低磷能力综合评价与代表性评价指标筛选[J]. 河南农业科学, 2023, 52(4): 21-30.
[13]	王焕鑫, 沈志豪, 刘泉, 刘金江. 基于改进MobileNetV2 模型的农作物叶片病害识别研究[J]. 河南农业科学, 2023, 52(4): 143-151.
[14]	郭芳芳, 韩亚倩, 周苏玫, 杜西河, 宋淼, 张洁梅, 黄源, 胡乃月, 臧贺藏, 杨习文. 施氮量对小麦不同生育时期不同器官氮锌吸收、积累与分配的影响[J]. 河南农业科学, 2023, 52(3): 12-25.
[15]	韦钙兴, 易文龙, 刘昱成, 赵应丁, 陈庭倬. 基于改进U-Net 的水稻叶片细胞分割方法研究[J]. 河南农业科学, 2023, 52(3): 153-160.