基于RoBERTa 多特征融合的棉花病虫害命名实体识别

doi:10.15933/j.cnki.1004-3268.2024.02.017

河南农业科学 ›› 2024, Vol. 53 ›› Issue (2): 152-161.DOI: 10.15933/j.cnki.1004-3268.2024.02.017

• 农业信息与工程·农产品加工 • 上一篇下一篇

基于RoBERTa 多特征融合的棉花病虫害命名实体识别

李东亚¹，白涛^1,2,3，香慧敏⁴，戴硕¹，王震鲁¹，陈珍¹

（1.新疆农业大学计算机与信息工程学院，新疆乌鲁木齐 830052；2.智能农业教育部工程研究中心，新疆乌鲁木齐 830052；3.新疆农业信息化工程技术研究中心，新疆乌鲁木齐 830052；4.新疆科信职业技术学院，新疆乌鲁木齐 830049）

收稿日期:2023-06-15 出版日期:2024-02-15 发布日期:2024-03-20
通讯作者: 白涛（1979-），男，甘肃榆中人，副教授，硕士，主要从事农业大数据、数据挖掘研究。E-mail：bt@xjau.edu.cn
作者简介:李东亚（1997-），男，河南驻马店人，在读硕士研究生，研究方向：自然语言处理、知识图谱。E-mail：569774848@qq.com
基金资助:
科技部科技创新2030重大项目（2022ZD0115800）；新疆维吾尔自治区重大科技专项（2022A02011-4）；新疆维吾尔自治区高
校基本科研业务费科研项目（XJEDU2022J009）

Recognition of Cotton Pests and Diseases Named Entities Based on RoBERTA Multi⁃feature Fusion

LI Dongya¹，BAT Tao^1,2,3，XIANG Huimin⁴，DAI Shuo¹，WANG Zhenlu¹，CHEN Zhen¹

（1.College of Computer and Information Engineering，Xinjiang Agricultural University，Urumqi 830052，China；2.Intelligent Agriculture Engineering Research Center of the Ministry of Education，Urumqi 830052，China；3.Xinjiang Agricultural Informatization Engineering Technology Research Center，Urumqi 830052，China；4.Xinjiang Science and Technology College，Urumqi 830049，China）

Received:2023-06-15 Published:2024-02-15 Online:2024-03-20

摘要/Abstract

摘要： 针对棉花病虫害文本语料数据匮乏且缺少中文命名实体识别语料库，棉花病虫害实体内容复杂、类型多样且分布不均等问题，构建了包含11种类别的棉花病虫害中文实体识别语料库CDIPNER，提出了一种基于RoBERTa多特征融合的命名实体识别模型。该模型采用掩码学习能力更强的RoBERTa预训练模型进行字符级嵌入向量转换，通过BiLSTM和IDCNN模型联合抽取特征向量，分别捕捉文本的时序和空间特征，使用多头自注意力机制将抽取的特征向量进行融合，最后利用CRF算法生成预测序列。结果表明，该模型对于棉花病虫害文本中命名实体的识别精确率为96.60%，召回率为95.76%，F1值为96.18%；在ResumeNER等公开数据集上也有较好的效果。表明该模型能有效地识别棉花病虫害命名实体且具有一定的泛化能力。

关键词: 棉花, 病虫害, RoBERTa模型, 命名实体识别, 多特征融合, 多头注意力机制

Abstract: Aiming at the scarcity of cotton pest and disease text corpus data and the lack of Chinese named entity recognition corpus,and the problems of complexity,diversity and uneven distribution of the content of cotton pest and disease entities,a Chinese entity recognition corpus CDIPNER containing 11 categories of cotton pests and diseases entities was constructed，and a named entity recognition model based on RoBERTa multi⁃feature fusion was proposed.The model adopted RoBERTa pre⁃training model with stronger mask learning ability for character⁃level embedding vector conversion,extracted feature vectors jointly by BiLSTM and IDCNN models to capture the temporal and spatial features of the text,respectively,fused the extracted feature vectors using a multi⁃head self⁃attention mechanism,and finally generated predicted sequences using the CRF algorithm.The results showed that the model had 96.60% recognition accuracy,95.76% recall,and 96.18% F1 value for named entities in cotton pest and disease text;it also had good results on public datasets such as ResumeNER.The results indicate that the model could effectively identify named entities of cotton pest and disease and has certain generalisation ability.

Key words: Cotton, Pests and diseases, RoBERTa model, Named entity recognition, Multi?feature fusion, Multi?head attention mechanism

中图分类号:

S126
TP391.1

李东亚, 白涛, 香慧敏, 戴硕, 王震鲁, 陈珍. 基于RoBERTa 多特征融合的棉花病虫害命名实体识别[J]. 河南农业科学, 2024, 53(2): 152-161.

LI Dongya, BAT Tao, XIANG Huimin, DAI Shuo, WANG Zhenlu, CHEN Zhen. Recognition of Cotton Pests and Diseases Named Entities Based on RoBERTA Multi⁃feature Fusion[J]. Journal of Henan Agricultural Sciences, 2024, 53(2): 152-161.

参考文献

［1］陆宴辉，梁革梅，张永军，等.二十一世纪以来棉花害虫治理成就与展望［J］.应用昆虫学报，2020，57（3）：477⁃490.
LU Y H，LIANG G M，ZHANG Y J，et al.Advances in the management of insect pests of cotton in China since the

21st century［J］.Chinese Journal of Applied Entomology，2020，57（3）：477⁃490.

［2］任媛，于红，杨鹤，等.融合注意力机制与BERT+BiLSTM+CRF模型的渔业标准定量指标识别［J］.农业工程学报，2021，37（10）：135⁃141.

REN Y，YU H，YANG H，et al.Recognition of quantitative indicator of fishery standard using attention mechanism and the BERT+BiLSTM+CRF model［J］.Transactions of the Chinese Society of Agricultural Engineering，2021，37（10）：135⁃141.

［3］赵山，罗睿，蔡志平.中文命名实体识别综述［J］.计算机科学与探索，2022，16（2）：296⁃304.

ZHAO S，LUO R，CAI Z P.Survey of Chinese named entity recognition［J］.Journal of Frontiers of Computer Science and Technology，2022，16（2）：296⁃304.

［4］黄恒琪，于娟，廖晓，等.知识图谱研究综述［J］.计算机系统应用，2019，28（6）：1⁃12.

HUANG H Q，YU J，LIAO X，et al.Review on knowledge graphs［J］.Computer Systems & Applications，2019，28

（6）：1⁃12.

［5］孙弋，梁兵涛.基于BERT和多头注意力的中文命名实体识别方法［J］.重庆邮电大学学报（自然科学版），2023，35（1）：110⁃118.

SUN Y，LIANG B T.Chinese named entity recognition method based on BERT and multi⁃head attention［J］.Journal of Chongqing University of Posts and Telecommunications（Natural Science Edition），2023，35（1）：110⁃118.

［6］宋林鹏，刘世洪，王翠.基于词向量+BiLSTM+CRF的农业技术需求文本实体提取［J］.江苏农业科学，2021，49 （5）：186⁃193.

SONG L P，LIU S H，WANG C.Extraction of text entity of agricultural technology demand based on Word Vector+BiLSTM+CRF［J］. Jiangsu Agricultural Sciences，2021，49（5）：186⁃193.

［7］谢聪娇，高静，陈俊杰.面向农作物病虫害领域的命名实体识别［J］.内蒙古农业大学学报（自然科学版），2022，43（1）：86⁃90.

XIE C J，GAO J，CHEN J J.Named entity recognition for crop diseases and insect pests［J］.Journal of Inner

Mongolia Agricultural University （Natural Science Edition），2022，43（1）：86⁃90.

［8］HUANG Z H，XU W，YU K. Bidirectional LSTM⁃CRF models for sequence tagging［EB/OL］.（2015⁃08⁃09）［2023⁃03⁃20］.http：//arxiv.org/abs/1508.01991.pdf.

［9］郑丽敏，任乐乐.采用融合规则与BERT-FLAT模型对营养健康领域命名实体识别［J］.农业工程学报，2021，37（20）：211⁃218.

ZHENG L M，REN L L.Named entity recognition in human nutrition and health domain using rule and BERT⁃FLAT［J］. Transactions of the Chinese Society of Agricultural Engineering，2021，37（20）：211⁃218.

［10］杨飘，董文永. 基于BERT嵌入的中文命名实体识别方法［J］.计算机工程，2020，46（4）：40⁃45.

YANG P，DONG W Y.A Chinese named entity recognition method based on BERT embedding［J］.Computer Engineering，2020，46（4）：40⁃45.

［11］MALARKODI C S，LEX E，LALITHA DEVI S. Named entity recognition for the agricultural domain［J］.Research in Computing Science，2016，117（1）：121⁃132.

［12］GUO X C，ZHOU H，SU J，et al.Chinese agricultural diseases and pests named entity recognition with multi⁃scale local context features and self⁃attention mechanism［J］.Computers and Electronics in Agriculture，2020，179：105830. ［13］李书琴，张明美，刘斌.融合字词语义信息的猕猴桃种植领域命名实体识别研究［J］.农业机械学报，2022，53（12）：323⁃331.

LI S Q，ZHANG M M，LIU B.Kiwifruit planting entity recognition based on character and word information fusion［J］.Transactions of the Chinese Society for Agricultural Machinery，2022，53（12）：323⁃331.

［14］刘合兵，张德梦，熊蜀峰，等.融合ALBERT与规则的小麦病虫害命名实体识别［J］.计算机科学与探索，2023，17（6）：1395⁃1404.

LIU H B，ZHANG D M，XIONG S F，et al.Named entity recognition of wheat diseases and pests fusing ALBERT and rules［J］.Journal of Frontiers of Computer Science and Technology，2023，17（6）：1395⁃1404.

［15］张嘉宇，郭玫，张永亮，等.细粒度苹果病虫害知识图谱构建研究［J］. 计算机工程与应用，2023，59（5）：270⁃280.
ZHANG J Y，GUO M，ZHANG Y L，et al.Research on construction of fine⁃grained knowledge graph of apple
diseases and pests［J］.Computer Engineering and Applications，2023，59（5）：270⁃280.

［16］RATINOV L，ROTH D. Design challenges and misconceptions in named entity recognition［C］//Proceedings of the Thirteenth Conference on Computational Natural Language Learning. Boulder，Colorado：ACM，2009：147⁃155.

［17］杨锦锋，关毅，何彬，等.中文电子病历命名实体和实体关系语料库构建［J］.软件学报，2016，27（11）：2725⁃2746.
YANG J F，GUAN Y，HE B，et al.Corpus construction for named entities and entity relations on Chinese electronic medical records［J］.Journal of Software，2016，27（11）：2725⁃2746.

［18］DEVLIN J，CHANG M W，LEE K，et al.BERT：Pre⁃training of deep bidirectional transformers for language understanding ［EB/OL］. （2018⁃10⁃11）［2023⁃03⁃20］. http：//arxiv. org/abs/1810. 04805. pdf.

［19］LIU Y H，OTT M，GOYAL N，et al.RoBERTa：A robustly optimized BERT pretraining approach［EB/OL］.（2019⁃07⁃26）［2023⁃05⁃15］.http：//arxiv.org/abs/1907.11692.pdf.

［20］HOCHREITER S，SCHMIDHUBER J. Long short⁃term memory［J］.Neural Computation，1997，9（8）：1735⁃1780. ［21］李健龙，王盼卿，韩琪羽.基于双向LSTM的军事命名实体识别［J］.计算机工程与科学，2019，41（4）：713⁃718.
LI J L，WANG P Q，HAN Q Y.Military named entity recognition based on bidirectional LSTM［J］.Computer Engineering & Science，2019，41（4）：713⁃718.

［22］WANG Q，ZHOU Y M，RUAN T，et al.Incorporating dictionaries into deep neural networks for the Chinese clinical named entity recognition［J］.Journal of Biomedical Informatics，2019，92：103133.

［23］STRUBELL E，VERGA P，BELANGER D，et al.Fast and accurate entity recognition with iterated dilated convolutions［C］//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.Copenhagen，Denmark. Stroudsburg，PA，USA：Association for Computational Linguistics，2017：2670⁃2680.

［24］YU F，KOLTUN V.Multi⁃scale context aggregation by dilated convolutions［EB/OL］.（2015⁃11⁃23）［2023⁃03⁃20］. http：//arxiv.org/abs/1511.07122.pdf.

［25］LEI T，BARZILAY R，JAAKKOLA T.Molding CNNs for text：Non⁃linear，non⁃consecutive convolutions［C］//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Lisbon，Portugal. Stroudsburg，PA，USA：Association for Computational Linguistics，2015.
［26］张晗，郭渊博，李涛.结合GAN与BiLSTM-Attention-CRF的领域命名实体识别［J］.计算机研究与发展，2019，56（9）：1851⁃1858.
ZHANG H，GUO Y B，LI T.Domain named entity recognition combining GAN and BiLSTM⁃Attention⁃CRF［J］.Journal of Computer Research and Development，2019，56（9）：1851⁃1858.
［27］田萱，王子亚，王建新.基于语义分割的食品标签文本检测［J］.农业机械学报，2020，51（8）：336⁃343.
TIAN X，WANG Z Y，WANG J X.Text detection of food labels based on semantic segmentation［J］.Transactions of the Chinese Society for Agricultural Machinery，2020，51（8）：336⁃343.
［28］VASWANI A，SHAZEER N，PARMAR N，et al.Attention is all you need［C］//Proceedings of the 31st International Conference on Neural Information Processing Systems. December 4⁃9，2017，Long Beach，California，USA，ACM，2017：6000⁃6010.
［29］王海宁，周菊香，徐天伟.融合深度学习与规则的民族工艺品领域命名实体识别［J］.云南师范大学学报（自然科学版），2020，40（2）：48⁃54.
WANG H N，ZHOU J X，XU T W.Named entity recognition in ethnic handicraft field with the deep learning and rules［J］.Journal of Yunnan Normal University（Natural Sciences Edition），2020，40（2）：48⁃54.
［30］李明扬，孔芳.融入自注意力机制的社交媒体命名实体识别［J］.清华大学学报（自然科学版），2019，59（6）：461⁃467.
LL M Y，KONG F.Combined self⁃attention mechanism for named entity recognition in social media［J］.Journal of Tsinghua University （Science and Technology），2019，59（6）：461⁃467.

[1]	任若飞, 赵强, 王自然, 谢佳, 徐开玥, 马百幻, 宋兴虎, 占东霞 . 滴施烯效唑复配促进剂对棉花生长发育及产量、品质的影响[J]. 河南农业科学, 2024, 53(3): 68-77.
[2]	唐中杰, 谢德意, 于跃波, 房卫平, 路风银. 内地棉区优势棉花资源评价及其在新疆棉花育种中的应用[J]. 河南农业科学, 2024, 53(2): 37-45.
[3]	许豆豆, 贺云新, 李飞, 刘爱玉, 周仲华. 间套作模式在棉田上的研究进展[J]. 河南农业科学, 2023, 52(6): 1-11.
[4]	李侃, 谢章书, 杨丹, 张宁, 许豆豆, 周仲华, 刘爱玉, 屠小菊. 不同拌种剂处理对未脱绒棉籽萌发及幼苗生长发育的影响[J]. 河南农业科学, 2023, 52(10): 40-51.
[5]	李文姗, 张俊尧, 王家勇, 李亚兵, 徐文修, 徐清华, 娄善伟, 唐江华. 不同滴施量艾氟迪对棉花光合特性及成铃规律的影响[J]. 河南农业科学, 2023, 52(1): 53-60.
[6]	王迎超, 张婧婧, 贾东霖, 周腾飞. 基于K-means 聚类和改进MLP的苹果分级研究[J]. 河南农业科学, 2023, 52(1): 161-171.
[7]	田阳青, 马春梅, 赵强, 吴雪琴, 李江余. 苯肽胺酸对棉花干物质积累、养分吸收和产量的影响[J]. 河南农业科学, 2022, 51(6): 67-75.
[8]	王兴旺, 郑汉垣, 王素青. 基于CSJMM-AS-GAC 的马陆葡萄病虫害识别研究[J]. 河南农业科学, 2022, 51(6): 154-163.
[9]	占东霞, 阿力木江·克来木, 赵强, 依尔登毕力克. 揭膜时间对北疆棉花生长发育和产量形成的影响[J]. 河南农业科学, 2021, 50(8): 36-43.
[10]	刘璐, 万伟杰, 郑通文, 龙欣钰, 孙正祥, 周燚. 根际细菌吡咯伯克霍尔德氏菌YZU-S377对棉花黄萎病的防效及其促生作用研究[J]. 河南农业科学, 2021, 50(3): 91-96.
[11]	王佐乾, 吴婧莲, 吴涛, 张舒, 袁家富, 张瑞洋, 杨小林, 夏贤格. 不同植保机械在湖北稻田病虫害防治中的效能评价[J]. 河南农业科学, 2021, 50(2): 89-.
[12]	郭亚如, 陈欣, 黄俊骏. ROP 蛋白在植物生长发育及逆境响应中的作用研究进展[J]. 河南农业科学, 2021, 50(11): 1-5.
[13]	唐中杰, 王来刚, 郭燕, 张彦, 张红利, 杨秀忠, 贺佳. 基于无人机多光谱的棉花育种材料FPAR 估测[J]. 河南农业科学, 2021, 50(11): 162-171.
[14]	李文鹏, 陶冶, 赵素雅, 牛秋红. 芽孢杆菌HT-7对棉花黄萎病菌的拮抗作用及拮抗因子初探[J]. 河南农业科学, 2020, 49(8): 84-93.
[15]	羊绍武, 张晓明, 郭海业, 全运筹, 傅杨, 陈国华. 不同药剂对多年生水稻主要病虫害的田间防治效果[J]. 河南农业科学, 2019, 48(9): 98-102.

基于RoBERTa 多特征融合的棉花病虫害命名实体识别

Recognition of Cotton Pests and Diseases Named Entities Based on RoBERTA Multi⁃feature Fusion

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics