基于迁移学习和残差网络的谷子病害识别研究

doi:10.15933/j.cnki.1004-3268.2023.12.018

摘要/Abstract

摘要： 针对谷子病害提出了一种基于迁移学习和残差网络（Residual CNN）的谷子病害图像识别方法。首先，建立由谷子白发病、谷瘟病、红叶病、锈病等4种病害图像以及正常谷子叶片图像组成的原始样本集；然后，采用基于超绿特征的最大类间方差法实现原始图像的分割，建立谷子病害分割图像数据集，并对该数据集进行扩充处理；最后，基于扩充后的谷子病害分割图像数据集，利用迁移学习和残差网络的思想建立谷子病害识别模型。结果表明，该模型的识别率达到98.2%，相较于基于支持向量机（SVM）的谷子病害识别模型提高了8.9百分点，同时该模型的训练时间相较于基于卷积神经网络（CNN）的谷子病害识别模型减少17.69 min。表明基于迁移学习和残差网络的谷子病害识别模型可有效地对4种谷子叶片病害进行识别。

关键词: 谷子, 病害识别, 图像处理, 计算机视觉, 迁移学习, 残差网络

Abstract: A method of millet disease image recognition based on transfer learning and residual network（Residual CNN）was proposed for millet disease. First，the original sample set was established，whichwas composed of four kinds of disease images including millet white disease，blast，red leaf disease，rustdisease and normal millet leaf image.Then，the original image was segmented by using the maximum inter‐class variance method based on super green feature，the millet disease segmentation image dataset was established，and the dataset was extended. Finally，based on the expanded segmentation image data set of millet disease，the recognition model of millet disease was established by using the idea of transfer learning and residual network. The results showed that the recognition rate of this model reached 98.2%，which was 8.9 percentage points higher than that of the support vector machine（SVM）based millet disease recognition model，and the training time of this model was reduced by 17.69 min compared with that of the convolutional neural network（CNN） based millet disease recognition model.The results indicated that the recognition model of millet disease based on transfer learning and residual network could effectively identify the four kinds of millet leaf diseases.

Key words: Millet, Disease identification, Image processing, Computer vision, Transfer learning, Residual network

中图分类号:

张红涛, 罗一铭, 谭联, 杨加蓬, 王宇. 基于迁移学习和残差网络的谷子病害识别研究[J]. 河南农业科学, 2023, 52(12): 162-171.

ZHANG Hongtao, LUO Yiming, TAN Lian, YANG Jiapeng, WANG Yu. Research on Millet Disease Identification Based on Transfer Learning and Residual Network[J]. Journal of Henan Agricultural Sciences, 2023, 52(12): 162-171.

参考文献

［1］国家统计局. 中华人民共和国2022年国民经济和社会发展统计公报［J］.中国统计，2023（3）：12‐29.
National Bureau of Statistics. Statistical bulletin of the People’s Republic of China on national economic and social development for 2022［J］.China Statistics，2023（3）：12‐29.
［2］刘鑫.谷子常见病害的防治方法［J］.现代农村科技，2019（8）：27‐28.
LIU X.Prevention and control methods of common diseases of millet［J］.Modern Rural Science and Technology，2019（8）：27‐28.
［3］张华.谷子病虫害原因及防治技术［J］.山西农经，2020（5）：85.
ZHANG H.Causes and control techniques of millet diseases and insect pests［J］.Shanxi Agricultural Economy，2020（5）：85.
［4］蒋权，罗明涛，黄梓琛，等.基于空地多视角RGB影像协同的病害香蕉植株监测［J/OL］.南方农业学报，2023：1‐13［2023‐11‐22］.https：//kns.cnki.net/kcms/detail/45.1381.s.20231012.1620.002.html.
JIANG Q，LUO M T，HUANG Z C，et al.Monitoring of diseased banana plantlets based on collaborative RGB images from air‐ground multiview［J/OL］.Journal of Southern Agriculture，2023：1‐13［2023‐11‐22］.https：//kns.cnki.net/kcms/detail/45.1381.s.20231012.1620.002.html.
［5］李伟豪，詹炜，周婉，等.轻量型Yolov7-TSA网络在茶叶病害检测识别中的研究与应用［J］.河南农业科学，2023，52（5）：162‐169.
LI W H，ZHAN W，ZHOU W，et al.Research and application of lightweight Yolov7‐TSA network in tea disease detection and identification［J］.Journal of Henan Agricultural Sciences，2023，52（5）：162‐169.
［6］陈聪，于啸，宫琪.基于改进残差网络的苹果叶片病害识别研究［J］.河南农业科学，2023，52（4）：152‐161.
CHEN C，YU X，GONG Q.Apple leaf diseases identification based on improved residual network［J］.Journal of Henan Agricultural Sciences，2023，52（4）：152‐161.
［7］王焕鑫，沈志豪，刘泉，等.基于改进MobileNetV2模型的农作物叶片病害识别研究［J］.河南农业科学，2023，52（4）：143‐151.
WANG H X，SHEN Z H，LIU Q，et al.Identification of crop leaf diseases based on improved MobileNetV2 mode［l J］. Journal of Henan Agricultural Sciences，2023，
52（4）：143‐151.
［8］刘合兵，鲁笛，席磊.基于MobileNetV2和迁移学习的玉米病害识别研究［J］.河南农业大学学报，2022，56（6）：1041‐1051.
LIU H B，LU D，XI L.The research of maize disease identification based on MobileNetV2 and transfer learning［J］.Journal of Henan Agricultural University，2022，56（6）：1041‐1051.
［9］王美娟，尹飞.卷积神经网络的多尺度改进及其在玉米病害症状识别中的应用［J］.河南农业大学学报，2021，55（5）：906‐916.
WANG M J，YIN F.Multi‐scale improvement of convolutional neural network and its application in symptom recognition of maize disease［J］.Journal of Henan Agricultural University，2021，55（5）：906‐916.
［10］冯晓，李丹丹，王文君，等.基于轻量级卷积神经网络和迁移学习的小麦叶部病害图像识别［J］.河南农业科学，2021，50（4）：174‐180.
FENG X，LI D D，WANG W J，et al.Image recognition of wheat leaf diseases based on lightweight convolutional neural network and transfer learning［J］.Journal of Henan Agricultural Sciences，2021，50（4）：174‐180.
［11］谭秦红.基于无人机图像处理的大豆叶片病害识别准确率研究［J］.河南农业科学，2021，50（3）：174‐180.
TAN Q H.Research on identification accurate rate of soybean leaf diseases based on UAV image processing［J］.Journal of Henan Agricultural Sciences，2021，50（3）：174‐180.
［12］王震，褚桂坤，张宏建，等.基于无人机可见光图像Haar-like特征的水稻病害白穂识别［J］.农业工程学报，2018，34（20）：73‐82.
WANG Z，CHU G K，ZHANG H J，et al.Identification of diseased empty rice panicles based on Haar‐like feature of UAV optical image［J］.Transactions of the Chinese Society of Agricultural Engineering，2018，34（20）：73‐82.
［13］祁钊，江朝晖，杨春合，等.基于图像技术的玉米叶部病害识别研究［J］.安徽农业大学学报，2016，43（2）：325‐330.
QI Z，JIANG Z H，YANG C H，et al.Identification of maize leaf diseases based on image technology［J］.Journal of Anhui Agricultural University，2016，43（2）：325‐330.
［14］张云龙，张会敏，谢泽奇，等.基于显著区域和PHOG的黄瓜病害识别方法研究［J］.江苏农业科学，2018，46（22）：246‐250.
ZHANG Y L，ZHANG H M，XIE Z Q，et al.Study on identification method of cucumber disease based on significant region and PHOG［J］.Jiangsu Agricultural Sciences，2018，46（22）：246‐250.
［15］张红涛，朱洋，谭联，等.基于FA-SVM技术的烟草早期病害识别［J］.河南农业科学，2020，49（8）：156‐161.
ZHANG H T，ZHU Y，TAN L，et al.The recognition of early tobacco disease based on FA‐SVM technology［J］.Journal of Henan Agricultural Sciences，2020，49（8）：156‐161.
［16］张红涛，李艺嘉，谭联，等.基于CS-SVM的谷子叶片病害图像识别［J］.浙江农业学报，2020，32（2）：274‐282.
ZHANG H T，LI Y J，TAN L，et al.Image recognition of millet leaf disease based on CS‐SVM［J］.Acta Agriculturae Zhejiangensis，2020，32（2）：274‐282.
［17］万颖，杨红云，王映龙，等.基于图像分割与卷积神经网络的水稻病害识别［J］.西北农业学报，2022，31（2）：246‐256.
WAN Y，YANG H Y，WANG Y L，et al.Recognition of rice disease based on image segmentation and convolution neural network［J］.Acta Agriculturae Boreali‐occidentalis Sinica，2022，31（2）：246‐256.
［18］张建华，韩书庆，翟治芬，等.改进自适应分水岭方法分割棉花叶部粘连病斑［J］.农业工程学报，2018，34（24）：165‐174.
ZHANG J H，HAN S Q，ZHAI Z F，et al.Improved adaptive watershed method for segmentation of cotton leaf adhesion lesions［J］.Transactions of the Chinese Society of Agricultural Engineering，2018，34（24）：165‐174.
［19］刘立群，王联国，火久元，等.基于改进和声搜索算法的玉米叶片病害图像分割算法［J］.计算机应用与软件，2016，33（4）：183‐186.
LIU L Q，WANG L G，HUO J Y，et al.Maize leaf disease image segmentation algorithm based on improved harmony search algorithm［J］.Computer Applications and Software，2016，33（4）：183‐186.
［20］殷琪林，王金伟.深度学习在图像处理领域中的应用综述［J］.高教学刊，2018（9）：72‐74.
YIN Q L，WANG J W.A survey of the application of deep learning in image processing［J］.Journal of Higher Education，2018（9）：72‐74.
［21］王伟男，杨朝红.基于图像处理技术的目标识别方法综述［J］.电脑与信息技术，2019，27（6）：9‐15.

WANG W N，YANG C H.A survey of target recognition methods based on image processing technology［J］.Computer and Information Technology，2019，27（6）：9‐15.

［22］邱靖，刘继荣，曹志勇，等.基于卷积神经网络的水稻病害图像识别研究［J］.云南农业大学学报（自然科学），2019，34（5）：884‐888.
QIU J，LIU J R，CAO Z Y，et al.Rice disease image recognition research based on convolutional neural network［J］.Journal of Yunnan Agricultural University（Natural Science），2019，34（5）：884‐888.
［23］任进军，王宁.人工神经网络中损失函数的研究［J］.甘肃高师学报，2018，23（2）：61‐63.
REN J J，WANG N.Research on loss function in artificial neural network［J］.Journal of Gansu Normal Colleges，2018，23（2）：61‐63.
［24］刘婷婷，王婷，胡林.基于卷积神经网络的水稻纹枯病图像识别［J］.中国水稻科学，2019，33（1）：90‐94.
LIU T T，WANG T，HU L.Rhizocotonia solani recognition algorithm based on convolutional neural network［J］.Chinese Journal of Rice Science，2019，33（1）：90‐94.
［25］张建华，孔繁涛，吴建寨，等.基于改进VGG卷积神经网络的棉花病害识别模型［J］.中国农业大学学报，2018，23（11）：161‐171.
ZHANG J H，KONG F T，WU J Z，et al.Cotton disease identification model based on improved VGG convolution neural network［J］.Journal of China Agricultural University，2018，23（11）：161‐171.
［26］刘翱宇，吴云志，朱小宁，等.基于深度残差网络的玉米病害识别［J］.江苏农业学报，2021，37（1）：67‐74.
LIU A Y，WU Y Z，ZHU X N，et al.Corn disease recognition based on deep residual network［J］.Jiangsu Journal of Agricultural Sciences，2021，37（1）：67‐74.
［27］谢裕睿，苗晟，张铄，等.基于残差神经网络的烟草病害识别研究［J］.现代计算机，2020（30）：27‐31.
XIE Y R，MIAO S，ZHANG S，et al.Research on tobacco disease recognition based on residual neural network［J］.Modern Computer，2020（30）：27‐31.
［28］HE K M，ZHANG X Y，REN S Q，et al.Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas，NV，USA：IEEE，2016：770‐778.
［29］许景辉，邵明烨，王一琛，等.基于迁移学习的卷积神经网络玉米病害图像识别［J］.农业机械学报，2020，51（2）：230‐236.
XU J H，SHAO M Y，WANG Y C，et al.Recognitionof corn leaf spot and rust based on transfer learning with convolutional neural network［J］.Transactions of the Chinese Society for Agricultural Machinery，2020，51（2）：230‐236.
［30］张红涛，刘迦南，谭联，等.基于机器视觉的烟青虫和棉铃虫雌雄蛹的分类识别［J］.烟草科技，2020，53（2）：21‐26.
ZHANG H T，LIU J N，TAN L，et al.Sexing of Helicoverpa assulta and Helicoverpa armigera pupae based on machine vision［J］.Tobacco Science&Technology，2020，53（2）：21‐26.
［31］刘翠翠，杨涛，马京晶，等.基于PCA-SVM的麦冬叶部病害识别系统［J］.中国农机化学报，2019，40（8）：132‐136.
LIU C C，YANG T，MA J J，et al.Identification system for leaf diseases of ophiopogon japonicus basedon PCA‐SVM［J］.Journal of Chinese Agricultural Mechanization，2019，40（8）：132‐136.
［32］毛彦栋，宫鹤.基于SVM和DS证据理论融合多特征的玉米病害识别研究［J］.中国农机化学报，2020，41（4）：152‐157.
MAO Y D，GONG H.Corn disease identification study based on SVM and DS evidence theory fusion multi‐features［J］.Journal of Chinese Agricultural Mechanization，2020，41（4）：152‐157.
［33］LI Y F，LU Z Y，LI J，et al.Improving deep learning feature with facial texture feature for face recognition［J］.Wireless Personal Communications，2018，103（2）：1195‐1206.
［34］BUDA M，MAKI A，MAZUROWSKI M A.A systematic study of the class imbalance problem in convolutional neural networks［J］.Neural Networks，2018，106：249‐259.
［35］WANG S H，XIE S P，CHEN X Q，et al.Alcoholism identification based on an AlexNet transfer learning model［J］.Frontiers in Psychiatry，2019，10：205.
［36］邓向武，马旭，齐龙，等.基于卷积神经网络与迁移学习的稻田苗期杂草识别［J］.农机化研究，2021，43（10）：167‐171.
DENG X W，MA X，QI L，et al.Recognition of weeds at seedling stage in paddy fields using convolutional neural network and transfer learning［J］.Journal of Agricultural Mechanization Research，2021，43（10）：167‐171.

[1]	李君霞, 马小倩, 代书桃, 秦娜, 宋迎辉, 朱灿灿, 刘海霞, 金松灿. 谷子品质性状研究进展[J]. 河南农业科学, 2023, 52(9): 14-23.
[2]	李敏, 郭雷风, 王瑞利. 无人机遥感在马铃薯田间表型研究中的应用[J]. 河南农业科学, 2023, 52(9): 24-32.
[3]	李伟豪, 詹炜, 周婉, 韩涛, 王佩文, 刘虎, 熊梦园, 孙泳, . 轻量型Yolov7-TSA 网络在茶叶病害检测识别中的研究与应用[J]. 河南农业科学, 2023, 52(5): 162-169.
[4]	陈聪, 于啸, 宫琪. 基于改进残差网络的苹果叶片病害识别研究[J]. 河南农业科学, 2023, 52(4): 152-161.
[5]	朱灿灿, 付森杰, 秦娜, 王春义, 代书桃, 宋迎辉, 魏昕, 李君霞. 磷肥施用深度对谷子根系分布、氮素吸收利用和产量的影响[J]. 河南农业科学, 2023, 52(12): 22-30.
[6]	罗世武, 李凯, 来幸樑, 程炳文. 不同种类地膜覆盖对土壤水温、谷子生长及产量的影响[J]. 河南农业科学, 2022, 51(7): 42-50.
[7]	冯链, 田翔, 乔治军, 王海岗. 谷子农艺性状与蛋白质含量相关性分析[J]. 河南农业科学, 2022, 51(6): 43-53.
[8]	刁智华, 闫娇楠, 赵素娜, 贺振东. 基于图像处理的作物行识别算法研究进展[J]. 河南农业科学, 2022, 51(3): 12-19.
[9]	赵康迪, 单玉刚, 袁杰, 赵元龙. 基于实例分割的玉米虫害检测研究[J]. 河南农业科学, 2022, 51(12): 153-161.
[10]	刘光宇, 徐晓静, 夏科科, 孙海汐, 陶月如, 崔震, 顾颖. 基于原生质体的谷子CRISPR/Cas9 基因编辑系统优化[J]. 河南农业科学, 2022, 51(1): 34-42.
[11]	董燕, 李环宇, 李卫杰, 李春雷, 刘洲峰. 基于联合剪枝深度模型压缩的种子分选方法研究[J]. 河南农业科学, 2022, 51(1): 162-170.
[12]	李君霞, 樊永强, 代书桃, 朱灿灿, 韩燕丽, 秦娜, 王彦辉, 宋迎辉. 播期对不同谷子品种干物质积累、转运和产量的影响[J]. 河南农业科学, 2021, 50(7): 39-47.
[13]	冯晓, 李丹丹, 王文君, 郑国清, 刘海礁, 孙永胜, 梁山, 杨莹, 臧贺藏, 张辉. 基于轻量级卷积神经网络和迁移学习的小麦叶部病害图像识别[J]. 河南农业科学, 2021, 50(4): 174-180.
[14]	谭秦红. 基于无人机图像处理的大豆叶片病害识别准确率研究[J]. 河南农业科学, 2021, 50(3): 174-180.
[15]	张卫正, 李旭光, 万瀚文, 李灿林, 张伟伟, 金保华, 刘岩. 基于骨架提取和二叉树分析的玉米植株图像茎叶分割方法[J]. 河南农业科学, 2020, 49(9): 166-172.