基于图像处理的作物行识别算法研究进展

doi:10.15933/j.cnki.1004-3268.2022.03.002

摘要/Abstract

摘要： 可靠的作物行识别是智慧农业机器人可靠导航的基石，可以有效减少农业机器人对农作物的损伤。基于图像处理的传统作物行识别技术包括图像预处理、特征提取、作物行拟合。综述了Hough变换法、最小二乘法、垂直投影法等传统作物行识别方法，并对其他的传统作物行识别方法进行了总结。随着智慧农业的发展，深度学习在农业领域受到越来越多的关注。更好地采集图像的各种特征，并与农业机械有效结合是深度学习作物行识别与传统方法的不同。从上述2个方面，对国内外的作物行识别算法研究做了较为系统的分析，指出基于图像处理的作物行识别算法目前存在的问题，最后根据现在的研究状况对未来的研究方向做出展望。

关键词: 作物行, 图像处理, 深度学习, 农业机器人, 智慧农业

Abstract: Reliable crop row recognition is the cornerstone of reliable navigation by intelligent agricultural robot，which can effectively reduce the damage of agricultural robot to crops.Traditional crop row recognition technology based on image processing includes image preprocessing，feature extraction and crop row fitting.The traditional crop row recognition methods such as Hough transform，least square method and vertical projection method are summarized，and other traditional crop row recognition methods are also summarized.With the development of smart agriculture，deep learning has attracted more and more attention in the agricultural field. Better collection of various features of images and effective combination with agricultural machinery are the differences between deep learning crop row recognition and traditional methods.From the above two aspects，the research on crop row recognition algorithm at home and abroad is systematically analyzed，and the existing problems of crop row recognition algorithm based on image processing are pointed out. Finally，the future research direction is prospected according to the present research situation.

Key words: Crop row, Image processing, Deep learning, Agricultural robot, Smart agriculture

中图分类号:

刁智华, 闫娇楠, 赵素娜, 贺振东. 基于图像处理的作物行识别算法研究进展[J]. 河南农业科学, 2022, 51(3): 12-19.

DIAO Zhihua, YAN Jiaonan, ZHAO Suna, HE Zhendong. Review of Crop Row Recognition Algorithms Based on Image Processing[J]. Journal of Henan Agricultural Sciences, 2022, 51(3): 12-19.

参考文献

［1］刁智华，赵明珍，宋寅卯，等.基于机器视觉的玉米精准施药系统作物行识别算法及系统实现［J］.农业工程学报，2015，31（7）：47⁃52.
DIAO Z H，ZHAO M Z，SONG Y M，et al.Crop row recognition algorithm and system implementation of corn precision application system based on machine vision［J］.Transactions of the Chinese Society of Agricultural Engineering，2015，31（7）：47⁃52.
［2］廖娟，汪鹞，尹俊楠，等.基于分区域特征点聚类的秧苗行中心线提取［J］.农业机械学报，2019，50（11）：34⁃41.
LIAO J，WANG Y，YIN J N，et al.Extraction of centerline of seedling row based on clustering of sub⁃regional feature
points［J］.Transactions of the Chinese Society for Agricultural Machinery，2019，50（11）：34⁃41.
［3］谢斌，武仲斌，毛恩荣.农业拖拉机关键技术发展现状与展望［J］.农业机械学报，2018，49（8）：1⁃17.
XIE B，WU Z B，MAO N R.Development status and prospect of key technologies of agricultural tractors［J］.Transactions of the Chinese Society for Agricultural Machinery，2018，49（8）：1⁃17.
［4］王姗姗，余山山，张文毅，等.基于特征点邻域Hough变换的水稻秧苗行检测［J］.农业机械学报，2020，51（10）：18⁃25.
WANG S S，YU S S，ZHANG W Y，et al.Row detection of rice seedlings based on Hough transform of feature point
neighborhood［J］.Transactions of the Chinese Society for Agricultural Machinery，2020，51（10）：18⁃25.
［5］王新忠，韩旭，毛罕平，等.基于最小二乘法的温室番茄垄间视觉导航路径检测［J］.农业机械学报，2012，43（6）：161⁃166.
WANG X Z，HAN X，MAO H P，et al.Detection of visual navigation path between ridges of greenhouse tomato
based on least square method［J］.Transactions of the Chinese Society for Agricultural Machinery，2012，43（6）：161⁃166.
［6］孟庆宽，张漫，杨耿煌，等.自然光照下基于粒子群算法的农业机械导航路径识别［J］.农业机械学报，2016，47（6）：11⁃20.
MENG Q K，ZHANG M，YANG G H，et al.Agricultural machinery navigation path recognition based on particle
swarm optimization under natural illumination ［J］.Transactions of the Chinese Society for Agricultural Machinery，2016，47（6）：11⁃20.
［7］陈子文，李伟，张文强，等.基于自动Hough变换累加阈值的蔬菜作物行提取方法研究［J］.农业工程学报，2019，35（22）：314⁃322.
CHEN Z W，LI W，ZHANG W Q，et al.Research on row extraction method of vegetable crops based on automatic Hough transform cumulative threshold［J］.Transactions of the Chinese Society of Agricultural Engineering，2019，35（22）：314⁃322.
［8］马红霞，马明建，马娜，等.基于Hough 变换的农业机械视觉导航基准线识别［J］.农机化研究，2013，35（4）：37⁃39，43.
MA H X，MA M J，MA N，et al.Baseline recognition based on Hough transform in the vision navigation of
agricultural vehicles ［J］.Journal of Agricultural Mechanization Research，2013，35（4）：37⁃39，43.
［9］赵腾.基于激光扫描的联合收割机自动导航方法研究［D］.杨凌：西北农林科技大学，2017.
ZHAO T.Research on automatic navigation method of combine harvester based on laser scanning ［D］.Yangling：Northwest A&F University，2017.
［10］刁智华，吴贝贝，毋媛媛，等.基于最小相切圆和形态学相结合的作物行检测算法［J］.农机化研究，2016，38（5）：15⁃19.
DIAO Z H，WU B B，WU Y Y，et al.Crop row detection algorithm based on minimum tangent circle and morphology［J］. Journal of Agricultural Mechanization Research，2016，38（5）：15⁃19.
［11］徐璟雪. 基于直线检测技术的垄线识别方法研究［D］.哈尔滨：哈尔滨工程大学，2015.
XU J X.Research on ridge line recognition method based on line detection technology［D］.Harbin：Harbin Engineering University，2015.
［12］刁智华，吴贝贝，毋媛媛，等.基于最大正方形的玉米作物行骨架提取算法［J］.农业工程学报，2015，31（23）：168⁃172.
DIAO Z H，WU B B，WU Y Y，et al.Extraction algorithm of corn crop row skeleton based on maximum square［J］.Transactions of the Chinese Society of Agricultural Engineering，2015，31（23）：168⁃172.
［13］李军锋，李逃昌，彭继慎.农业机器人视觉导航路径识别方法研究［J］.计算机工程，2018，44（9）：38⁃44，58.
LI J F，LI T C，PENG J S.Research on path recognition method of vision navigation for agricultural robot［J］.Computer Engineering，2018，44（9）：38⁃44，58.
［14］梁习卉子，陈兵旗，李民赞，等.基于HOG特征和SVM的棉花行数动态计数方法［J］.农业工程学报，2020，36（15）：173⁃181.
LIANG X H Z，CHEN B Q，LI M Z，et al.Dynamic counting method of cotton rows based on HOG feature and SVM［J］. Transactions of the Chinese Society of Agricultural Engineering，2020，36（15）：173⁃181.
［15］范振军，李小霞.基于ROI快速检测与融合特征的马铃薯病害识别［J］.西南农业学报，2019，32（3）：544⁃550.
FAN Z J，LI X X.Potato disease recognition based on ROI rapid detection and fusion features［J］.Southwest China Journal of Agricultural Sciences，2019，32（3）：544⁃550.
［16］汪博，桂江生，周建平，等.基于最小二乘法的早期玉米作物行检测研究［J］.浙江理工大学学报，2015，33（7）：547⁃551.
WANG B，GUI J S，ZHOU J P，et al.Study on row detection of early maize crops based on least square method［J］.Journal of Zhejiang Sci⁃Tech University，2015，33（7）：547⁃551.
［17］CHOI K H， HAN S K， HAN S H， et al.Morphology⁃based guidance line extraction for an autonomous weeding robot in paddy fields ［J］.Computers and Electronics in Agriculture，2015，113：266⁃274.
［18］司永胜，姜国权，刘刚，等.基于最小二乘法的早期作物行中心线检测方法［J］.农业机械学报，2010，41（7）：163⁃167，185.
SI Y S，JIANG G Q，LIU G，et al.Detection method of early crop row centerline based on least square method
［J］.Transactions of the Chinese Society for Agricultural Machinery，2010，41（7）：163⁃167，185.
［19］JIANG G Q，WANG X J，WANG Z H，et al.Wheat rows detection at the early growth stage based on Hough transform and vanishing point［J］.Computers and Electronics in Agriculture，2016，123：211⁃223.
［20］李亦白，陈聪，曹光乔.基于计算机视觉的甘蓝生长过程导航线提取算法［J］.中国农机化学报，2020，41（12）：131⁃138.
LI Y B，CHEN C，CAO G Q.Navigation line extraction algorithm for cabbage growth process based on computer
vision ［J］.Journal of Chinese Agricultural Mechanization，2020，41（12）：131⁃138.
［21］WERA W，VERONIKA F F，CHRISTIAN D，et al.Crop row detection on tiny plants with the pattern Hough transform［J］.IEEE Robotics and Automation Letters，2018，3（4）：3394⁃3401.
［22］杨玲香，王田田，何旭.基于随机抽样一致性算法（RANSAC）的农作物行提取［J］.江苏农业科学，2017，45（2）：195⁃197.
YANG L X，WANG T T，HE X.Crop row extraction based on random sampling consistency algorithm（RANSAC）［J］.Jiangsu Agricultural Sciences，2017，45（2）：195⁃197.
［23］王祥祥，宫金良，张彦斐.基于机器视觉的玉米行导航线提取方法［J］.山东理工大学学报（自然科学版），2021，35（2）：19⁃22，27.
WANG X X，GONG J L，ZHANG Y F.Extraction method of corn navigation line based on machine vision［J］.Journal of Shandong University of Technology （Natural Science Edition），2021，35（2）：19⁃22，27.
［24］宋宇，刘永博，刘路，等.基于机器视觉的玉米根茎导航基准线提取方法［J］.农业机械学报，2017，48（2）：38⁃44.
SONG Y，LIU Y B，LIU L，et al.Extraction method of corn rootstock navigation baseline based on machine vision ［J］.Transactions of the Chinese Society for Agricultural Machinery，2017，48（2）：38⁃44.
［25］ZHANG X Y，LI X N，ZHANG B H，et al.Automated robust crop⁃row detection in maize fields based on position clustering algorithm and shortest path method［J］.Computers and Electronics in Agriculture，2018，154：165⁃175.
［26］MONTALVO M，PAJARES G J M，GUERRERO J M，et al.Automatic detection of crop rows in maize fields with high weeds pressure［J］.Expert Systems with Applications，2012，39（15）：11889⁃11897.
［27］曾宏伟，雷军波，陶建峰，等.低对比度条件下联合收割机导航线提取方法［J］.农业工程学报，2020，36（4）：18⁃25.
ZENG H W，LEI J B，TAO J F，et al.Extraction method of navigation line of combine harvester under low contrast condition ［J］.Transactions of the Chinese Society of Agricultural Engineering，2020，36（4）：18⁃25.
［28］王侨，孟志军，付卫强，等.基于机器视觉的玉米苗期多条作物行线检测算法［J］.农业机械学报，2021，52（4）：208⁃220.
WANG Q，MENG Z J，FU W Q，et al.Machine vision⁃based detection algorithm for multiple crop lines in maize seedling stage［J］.Transactions of the Chinese Society for Agricultural Machinery，2021，52（4）：208⁃220.
［29］王晓杰. 基于机器视觉的农田作物行检测方法研究［D］.郑州：河南理工大学，2016.
WANG X J.Research on crop row detection method based on machine vision ［D］.Zhengzhou：Henan Polytechnic University，2016.
［30］刁智华，王会丹，宋寅卯.基于机器视觉的农田机械导航线提取算法研究［J］.农机化研究，2015，37（2）：35⁃39，45.
DIAO Z H，WANG H D，SONG Y M.Research on navigation line extraction algorithm of farmland machinery based on machine vision［J］.Journal of Agricultural Mechanization Research，2015，37（2）：35⁃39，45.
［31］安秋，李志臣，姬长英，等.基于光照无关图的农业机器人视觉导航算法［J］.农业工程学报，2009，25（11）：208⁃212.
AN Q，LI Z C，JI C Y，et al.Visual navigation algorithm of agricultural robot based on illumination⁃independent
graph ［J］.Transactions of the Chinese Society of Agricultural Engineering，2009，25（11）：208⁃212.
［32］ZHANG Q，SHAOJIE CHEN M E，LI B.A visual navigation algorithm for paddy field weeding robot based on image understanding［J］.Computers and Electronics in Agriculture，2017，143：66⁃78.
［33］高国琴，李明.基于K-means算法的温室移动机器人导航路径识别［J］.农业工程学报，2014，30（7）：25⁃33.
GAO G Q，LI M.Navigation path recognition of greenhouse mobile robot based on K⁃means algorithm［J］.Transactions of the Chinese Society of AgriculturalEngineering，2014，30（7）：25⁃33.
［34］SOGAARD H T，OLSEN H J.Determination of crop rows by image analysis without segmentation［J］.Computers and Electronics in Agriculture，2003，38（2）：141⁃158.
［35］孟庆宽，何洁，仇瑞承，等.基于机器视觉的自然环境下作物行识别与导航线提取［J］.光学学报，2014，34（7）：180⁃186.
MENG Q K，HE J，QIU R C，et al.Crop row recognition and navigation line extraction in natural environment based on machine vision［J］.Journal of Optics，2014，34（7）：180⁃186.
［36］袁佐云，毛志怀，魏青.基于计算机视觉的作物行定位技术［J］.中国农业大学学报，2005，10（3）：69⁃72.
YUAN Z Y，MAO Z H，WEI Q.Crop row positionin technology based on computer vision［J］.Journal of China Agricultural University，2005，10（3）：69⁃72.
［37］孟庆宽，杨晓霞，刘易，等. 自然光照环境下基于人工蜂群算法的农业移动机器人视觉导航线提取［J］.江苏农业学报，2020，36（4）：919⁃929.
MENG Q K，YANG X X，LIU Y，et al.Visual navigation line extraction of agricultural mobile robot based on artificial bee colony algorithm in natural lighting environment［J］.Jiangsu Journal of Agricultural Sciences，2020，36（4）：919⁃929.
［38］姜国权，柯杏，杜尚丰，等.基于机器视觉的农田作物行检测［J］.光学学报，2009，29（4）：1015⁃1020.
JIANG G Q，KE X，DU S F，et al.Crop row detection based on machine vision［J］.Journal of Optics，2009，29（4）：1015⁃1020.
［39］马振.基于机器视觉的农用车辆导航线提取算法研究［D］.西安：陕西科技大学，2019.
MA Z.Research on extraction algorithm of agricultural vehicle navigation line based on machine vision［D］.Xi’an：Shaanxi University of Science and Technology，2019.
［40］ROMEO J G，PAJARES G，MONTALVO M，et al.Crop row detection in maize fields inspired on the human visual perception［J/OL］.Scientific World Journal，2012：1⁃10［2021⁃06⁃10］. https：//doi. org/10. 1100/2012/484390.
［41］ZHANG Z B，LI P，ZHAO S L，et al.An adaptive vision navigation algorithm in agricultural IoT system for smart agricultural robots［J］.Computers，Materials & Continua，2021，66（1）：1043⁃1056.
［42］FENG J H，LI Z W，YANG W，et al.Detection navigation baseline in row⁃following operation of maize weeder based on axis extraction［J］.International Journal of Agricultural and Biological Engineering，2020，13（5）：181⁃186.
［43］TENHUNEN H，PAHIKKALA T，NEVALAINEN O，et al.Automatic detection of cereal rows by means of pattern recognition techniques［J］.Computers and Electronics in Agriculture，2019，162：677⁃688.
［44］LI S，ZHANG Z B，DU F，et al.A new automatic real⁃time crop row recognition based on SoC⁃FPGA［J］.IEEE Access，2020，8：37440⁃37452.
［45］HINTON G E，OSINDERO S，TEH Y W.A fast learning algorithm for deep belief nets［J］.Neural Computation，2006，18（7）：1527⁃1554.
［46］KRIZHEVSKY A，SUTSKEVER I，HIONTON G.Imagenet classification with deep convolutional neural networks ［C］//Advances in Neural Information Processing Systems.Nevada，USA，2012：1097⁃1105.
［47］LECUN Y，BENGIO Y，HIONTON G.Deep learning［J/OL］.Nature，2015：436⁃444［2021⁃06⁃10］.https：//doi.org/10.1038/nature14539.
［48］FENG A J，ZHOU J F，VORIES E，et al.Evaluation of cotton emergence using UAV⁃based imagery and deep learning［J］.Computers and Electronics in Agriculture，2020，177：10577.
［49］TURKOGLU M，HANBAY D，SENGUR A.Multi⁃model LSTM⁃based convolutional neural networks for detection of apple diseases and pests［J/OL］.Journal of Ambient Intelligence and Humanized Computing，2019［2021⁃06⁃10］.https：//doi.org/10.1007/s12652⁃019⁃01591⁃w.
［50］HOOSHMAND S A，JAMALKANDI S A，ALAVI S M，et al.Distinguishing drug/non⁃drug⁃like small molecules in drug discovery using deep belief network［J］.Molecular Diversity，2021，25（2）：827⁃838.
［51］LI P，CHEN Z K，YANG L T，et al.An improved stacked auto⁃encoder for network traffic flow classification［J］.IEEE Network，2018，32（6）：22⁃27.
［52］JIN S C，SU Y J，GAO S，et al.Deep learning：Individual maize segmentation from terrestrial lidar data using faster R⁃CNN and regional growth algorithms［J］.Frontiers in Plant Science，2018，9：866.
［53］POLDER G，BLOK P M，VILLIERS H，et al.Potato virus Y detection in seed potatoes using deep learning on hyperspectral images［J］.Frontiers in Plant Science，2019，10：209.
［54］NIDAMANURI R R，REJI J，ANANDAKUMAR R.Object⁃level classification of vegetable crops in 3D LiDAR point cloud using deep learning convolutional neural networks［J］.Precision Agriculture，2021（10）：1617⁃1633.
［55］KIM S，PETER C，HENRIK K，et al.Using deeplearning to challenge safety standard for highly autonomous machines in agriculture［J］.Journal of Imaging，2016，2（1）：6.
［56］YANG Q，SHI L，HAN J，et al.Deep convolutional neural networks for rice grain yield estimation at the ripening stage using UAV⁃based remotely sensed images［J］.Field Crops Research，2019，235：142⁃153.
［57］MILELLA A，MARANI R，PETITTI A，et al.In⁃field high throughput grapevine phenotyping with a consumer⁃grade depth camera［J］.Computers and Electronics in Agriculture，2019，156：293⁃306.
［58］SUNGCHAN O，CHANG A J，AKASH A，et al.Plant counting of cotton from UAS imagery using deep learning⁃based object detection framework［J］.Remote Sensing，2020，12（18）：2981.
［59］吕盛坪，李灯辉，冼荣亨.深度学习在我国农业中的应用研究现状［J］.计算机工程与应用，2019，55（20）：24⁃33，51.
LÜ S P，LI D H，XIAN R H.Research status of application of deep learning in China’s agriculture［J］.Computer Engineering and Application，2019，55（20）：24⁃33，51.
［60］BAH M D，HAFIANE A，CANALS R.CRowNet：Deep network for crop row detection in UAV images［J］.IEEE Access，2020，8：5189⁃5200.
［61］PONNAMBALAM V R，BAKKEN M，MOORE R J D，et al.Autonomous crop row guidance using adaptive multi⁃ROI in strawberry fields［J］.Sensors（Basel），2020，20（18）：5249.
［62］LUCAS P O，MAURO S A，DIOGO N G，et al.A CNN approach to simultaneously count plants and detect plantation⁃rows from UAV imagery［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2021，174：1⁃17.
［63］ADHIKARI S P，YANG H，KIM H.Learning semantic graphics using convolutional encoder⁃decoder network for autonomous weeding in paddy［J］.Frontiers in Plant Science，2019，10：1404.

[1]	于雁南, 莫泳彬, 严继池, 熊春林, 窦世卿, 杨荣峰. 基于改进ShuffleNet V2 的柑橘病害识别研究[J]. 河南农业科学, 2024, 53(1): 142-151.
[2]	钟正扬, 云利军, 杨璇玺, 陈载清. 基于改进YOLOX 的自然环境下核桃识别算法研究[J]. 河南农业科学, 2024, 53(1): 152-161.
[3]	李伟豪, 詹炜, 周婉, 韩涛, 王佩文, 刘虎, 熊梦园, 孙泳, . 轻量型Yolov7-TSA 网络在茶叶病害检测识别中的研究与应用[J]. 河南农业科学, 2023, 52(5): 162-169.
[4]	陈聪, 于啸, 宫琪. 基于改进残差网络的苹果叶片病害识别研究[J]. 河南农业科学, 2023, 52(4): 152-161.
[5]	张红涛, 罗一铭, 谭联, 杨加蓬, 王宇. 基于迁移学习和残差网络的谷子病害识别研究[J]. 河南农业科学, 2023, 52(12): 162-171.
[6]	臧贺藏, 王从胜, 赵巧丽, 赵晴, 张杰, 李国强, 郑国清. 基于深度学习的小麦倒伏自动分类方法研究[J]. 河南农业科学, 2023, 52(11): 167-173.
[7]	杨文庆, 刘天霞, 唐兴萍, 徐国富, 马喆, 杨贺凯, 吴文斗. 智慧农业背景下的植物表型组学研究进展[J]. 河南农业科学, 2022, 51(7): 1-12.
[8]	董燕, 李环宇, 李卫杰, 李春雷, 刘洲峰. 基于联合剪枝深度模型压缩的种子分选方法研究[J]. 河南农业科学, 2022, 51(1): 162-170.
[9]	张卫正, 李旭光, 万瀚文, 李灿林, 张伟伟, 金保华, 刘岩. 基于骨架提取和二叉树分析的玉米植株图像茎叶分割方法[J]. 河南农业科学, 2020, 49(9): 166-172.
[10]	杨天乐, 钱寅森, 武威, 孙成明, 刘涛. 基于Python爬虫和特征匹配的水稻病害图像智能采集[J]. 河南农业科学, 2020, 49(12): 159-163.
[11]	张琛，房胜，王风云，李哲，郑纪业，沈宇. 基于机器学习的免套袋苹果缺陷分级[J]. 河南农业科学, 2019, 48(4): 154-160.
[12]	唐茹，孙钰翔，戴齐，林清美，谢丽华. 土壤团聚体微结构研究方法及进展[J]. 河南农业科学, 2018, 47(9): 8-15.
[13]	郑二功，田迎芳，陈涛. 基于深度学习的无人机影像玉米倒伏区域提取[J]. 河南农业科学, 2018, 47(8): 155-160.
[14]	潘鹏亮，王国君，张方梅，刘红敏，史洪中，尹健. 利用几何形态测量学评估茶尺蠖危害茶叶严重度的可行性分析[J]. 河南农业科学, 2018, 47(5): 62-68.
[15]	于国庆，郝若帆，马洪涛，吴赛敏，陈梦雅. 基于图像处理和支持向量机的粉碎性秸秆覆盖率的图像识别方法研究[J]. 河南农业科学, 2018, 47(11): 155-160.