基于工作流的统计年鉴数据清洗模型构建

doi:10.15933/j.cnki.1004-3268.2021.10.022

河南农业科学 ›› 2021, Vol. 50 ›› Issue (10): 172-180.DOI: 10.15933/j.cnki.1004-3268.2021.10.022

• 农业信息与工程·农产品加工 • 上一篇

基于工作流的统计年鉴数据清洗模型构建

张辉^1,2，魏东^1,2，乔璐^1,2，李丹丹^1,2，张玉尧^1,2，郑国清^1,2，冯晓^1,2

（1.河南省农业科学院农业经济与信息研究所，河南郑州450002；2.河南省智慧农业工程技术研究中心，河南郑州450002）

收稿日期:2021-01-01 出版日期:2021-10-15 发布日期:2021-11-25
通讯作者: 冯晓（1978-），女，河南郑州人，副研究员，硕士，主要从事农业数据分析及图像处理技术研究。E-mail：fengxiao@hnagri.org.cn
作者简介:张辉（1975-），男，河南光山人，副研究员，主要从事农业信息系统研发、数据分析挖掘技术研究。E-mail：zhanghui@hnagri.org.cn
基金资助:
河南省科技攻关计划项目（212102110213）

Construction of Statistical Yearbook Data Cleaning Model Based on Workflow

ZHANG Hui1,2，WEI Dong^1,2，QIAO Lu^1,2，LI Danan^1,2，ZHANG Yuyao^1,2，ZHENG Guoqing^1,2，FENG Xiao^1,2

（1.Institute of Agricultural Economics and Information，Henan Academy of Agricultural Sciences，Zhengzhou 450002，China；2.Henan Engineering and Technology Research Center for Intelligent Agriculture，Zhengzhou 450002，China）

Received:2021-01-01 Published:2021-10-15 Online:2021-11-25

摘要/Abstract

摘要： 为实现统计年鉴数据集成整合和综合快速查询，以2000—2018年《中国统计年鉴》及《河南统计年鉴》等全国31个省（市、区）统计年鉴为例，深入分析其数据特征后，采用Alteryx Designer 2019.2学习版，基于工作流技术，经过提取目录及文件、提取文件中的表单、提取表单中表的内容、数据清洗及规范、规范标识数据的6个维度、数据重组和数据输出共7个步骤构建了统计年鉴数据清洗模型。结果表明，在16 GB内存的笔记本电脑上，模型用时4~5 h即可将数据容量达21 GB、包含33万个文件、120万张表单的统计年鉴数据清洗并整合为1套包含6 000多万条指标数据序列的标准规范数据集。构建的数据清洗建模方法具有高效、可溯源的优势。

关键词: 工作流, 统计年鉴, 数据清洗, Alteryx, 质量控制

Abstract: In order to realize the data integration and comprehensive quick query of statistical yearbooks，the data characteristics of China Statistical Yearbook and statistical yearbooks of 31 provincial regions such as Henan Statistical Yearbook from 2000 to 2018 were analyzed in depth. Based on workflow technology，Alteryx Designer 2019.2（learning version）was used to construct the data cleaning model of statistical yearbooks by 7 steps：extracting directory and file，extracting forms from file，extracting the contents of tables in the form，data cleaning and specification，data standardization by six dimensions，data reorganization and data output.The results showed that on a laptop with 16 GB RAM，the model took4 to 5 hours to clean and integrate the yearbook data with 21 GB，including more than 330 thousand files and around 1. 2 million forms into a single standard dataset that contained more than 60 million indicator data.The data cleaning modeling method had the advantages of high efficiency and traceability.

Key words: Workflow, Statistical yearbook, Data cleaning, Alteryx, Quality control

中图分类号:

TP391','1');return false;" target="_blank"> TP391

张辉, 魏东, 乔璐, 李丹丹, 张玉尧, 郑国清, 冯晓. 基于工作流的统计年鉴数据清洗模型构建[J]. 河南农业科学, 2021, 50(10): 172-180.

ZHANG Hui, WEI Dong, QIAO Lu, LI Danan, ZHANG Yuyao, ZHENG Guoqing, FENG Xiao. Construction of Statistical Yearbook Data Cleaning Model Based on Workflow[J]. Journal of Henan Agricultural Sciences, 2021, 50(10): 172-180.

图/表 10

参考文献

［1］时珉，尹瑞，胡傲宇，等.基于滑动标准差计算的光伏阵列异常数据清洗办法［J］.电力系统保护与控制，2020，48（6）：108‑114.
SHI M，YIN R，HU A Y，et al.A novel photovoltaic array outlier cleaning algorithm based on moving standard deviation［J］.Power System Protection and Control，2020，48（6）：108‑114.
［2］王兵.ADS-B历史飞行轨迹数据清洗方法［J］.交通运输工程学报，2020，20（4）：217‑226.
WANG B.Data cleaning method of ADS‑B historical flight trajectories［J］.Journal of Traffic and Transportation Engineering，2020，20（4）：217‑226.
［3］刘悦，郝舒欣，宋杰，等.空气污染与疾病关系的时间序列分析中门急诊数据快速清洗及自动分类汇总方法的研究［J］.卫生研究，2016，45（4）：624‑630.
LIU Y，HAO S X，SONG J，et al.Development of a method for cleaning outpatient data rapidly and generating statistical reports automatically to the analysis of time series on the air pollution and disease［J］.Journal of Hygiene Research，2016，45（4）：624‑630.
［4］吴鹏，张叙，路霞.基于模型检测方法的中文专利法律状态数据清洗研究［J］.情报理论与实践，2018，41（3）：49‑56.
WU P，ZHANG X，LU X.Research on the data cleaning for the Chinese patent legal status based on model checking method［J］.Information Studies：Theory &Application，2018，41（3）：49‑56.
［5］高延雷，王志刚.城镇化是否带来了耕地压力的增加来自中国的经验证据［J］.中国农村经济，2020（9）：65‑85.
GAO Y L，WANG Z G.Does urbanization increase the pressure of cultivated land？ Evidence based on interprovincial panel data in China［J］.Chinese Rural Economy，2020（9）：65‑85.
［6］韩磊，王术坤，刘长全.中国农村发展进程及地区比较：基于2011～2017年中国农村发展指数的研究［J］.中国农村经济，2019（7）：2‑20.
HAN L，WANG S K，LIU C Q.China’s rural development progress and regional comparison：A study based on assessment of China’s rural development index from 2011 to 2017［J］.Chinese Rural Economy，2019（7）：2‑20.
［7］武孟飞，李炳军，魏新娟，等.基于熵权法的农产品流通效率模糊综合评价研究：以河南省为例［J］.数学的实践与认识，2019，49（13）：83‑93.
WU M F，LI B J，WEI X J，et al.Research on fuzzy comprehensive evaluation of agricultural products circulation efficiency based on entropy weight method：Taking Henan Province as an example［J］.Mathematics in Practice and Theory，2019，49（13）：83‑93.
［8］张樨樨，郑珊，余粮红.中国海洋碳汇渔业绿色效率测度及其空间溢出效应［J］.中国农村经济，2020（10）：91‑110.
ZHANG X X，ZHENG S，YU L H.Green efficiency measurement and spatial spillover effect of China’s marine carbon sequestration fishery［J］.Chinese Rural Economy，2020（10）：91‑110.
［9］赵瑞红，常晶会.年鉴大数据出版之探析［J］.中国年鉴研究，2019（1）：42‑48，78.
ZHAO R H，CHANG J H.Exploration on big data publishing of yearbooks［J］.Yearbook Studies in China，2019（1）：42‑48，78.
［10］余贤林. 地方综合年鉴构建大数据应用的设想［J］.中国年鉴研究，2019（2）：58‑63，80.
YU X L.The idea of constructing big data application in local comprehensive yearbook［J］.Yearbook Studies in China，2019（2）：58‑63，80.
［11］郝爽，李国良，冯建华，等.结构化数据清洗技术综述［J］.清华大学学报（自然科学版），2018，58（12）：1037‑1050.
HAO S，LI G L，FENG J H，et al.Survey of structured data cleaning methods ［J］.Journal of Tsinghua University（Science and Technology），2018，58（12）：1037‑1050.
［12］陈广智，潘嵘，李磊.工作流建模技术综述及其研究趋势［J］.计算机科学，2014，41（S1）：11‑17，23.
CHEN G Z，PAN R，LI L.Survey and research trends of workflow modeling techniques［J］.Computer Science，2014，41（S1）：11‑17，23.
［13］杨诗雨，苏丽丽，侯元伟，等.面向漏洞管理的工作流技术应用研究［J］.北京理工大学学报，2019，39（9）：967‑973.
YANG S Y，SU L L，HOU Y W，et al.Research on workflow technology for vulnerability management［J］.Transactions of Beijing Institute of Technology，2019，39（9）：967‑973.
［14］徐沛东，陈铁军，罗勇，等.基于Petri网的建筑市场监管工作流模型［J］.郑州大学学报（理学版），2016，48（2）：58‑64.
XU P D，CHEN T J，LUO Y，et al.Workflow design of construction market supervision based on Petri net［J］.Journal of Zhengzhou University（Natural Science Edition），2016，48（2）：58‑64.
［15］熊志勇，刘梦玉，庞婉婷.基于Petri网的工业设计过程管理工作流建模研究［J］.图学学报，2018，39（4）：611‑615.
XIONG Z Y，LIU M Y，PANG W T.Workflow modeling of industrial design process management based on Petri ne［t J］.Journal of Graphics，2018，39（4）：611‑615.
［16］彭祖成，李晖.工作流驱动的ERP实施管理系统研究与开发［J］.现代制造工程，2016（5）：19‑24.
PENG Z C，LI H.Research and development on workflow driven ERP implementation management system［J］.Modern Manufacturing Engineering，2016（5）：19‑24.
［17］武小平，左春.基于工作流程的数据清洗系统［J］.计算机工程与设计，2008，29（8）：1878‑1880.
WU X P，ZUO C.Data clean system based on work flow［J］.Computer Engineering and Design，2008，29（8）：1878‑1880.
［18］钟华，李艳梅，安新颖.开源工具支持的专利数据清洗流程研究［J］.医学信息学杂志，2019，40（5）：60‑64.
ZHONG H，LI Y M，AN X Y.Study on patent data cleaning process supported by open source tools［J］.Journal of Medical Intelligence，2019，40（5）：60‑64.
［19］杨振瑜，王效岳，白如江.国外主要可视化数据挖掘开源软件的比较分析研究［J］.图书馆理论与实践，2013（5）：89‑93.
YANG Z Y，WANG X Y，BAI R J.The comparative analysis of major foreign visual data mining software［J］.Library Theory and Practice，2013（5）：89‑93.
［20］顾海兵，翟敏.“统计年鉴”系统：对比与差异［J］.首都经济贸易大学学报，2012，14（2）：116‑118.
GU H B，ZHAI M."Statistical Yearbook" system：Comparison and difference［J］.Journal of CapitalUniversity of Economics and Business，2012，14（2）：116‑118.
［21］国家统计局编写组.我国20个统计指标的历史变迁［M］.北京：中国统计出版社，2017.
Compilation Group of National Bureau of Statistics.Historical changes of 20 statistical indicators in China［M］.Beijing：China Statistics Press，2017.
［22］高敏雪.解析《中国统计年鉴》的内容架构［J］.中国统计，2011（6）：42‑43.
GAO M X.Analysis of the content architecture of China Statistical Yearbook［J］.China Statistics，2011（6）：42‑43.
［23］高敏雪.《中国统计年鉴》中的主体分类［J］.中国统计，2010（3）：38‑39.
GAO M X.Main classification in China Statistical Yearbook［J］.China Statistics，2010（3）：38‑39.
［24］高敏雪.《中国统计年鉴》里的指标与指标体系［J］.中国统计，2010（4）：53‑54.
GAO M X.Indicator and indicator system in China Statistical Yearbook［J］.China Statistics，2010（4）：53‑54.

[1]	马慧慧，魏凤仙，徐彬，李绍钰. DDGS在猪鸡日粮中的应用及其质量控制研究进展[J]. 河南农业科学, 2017, 46(1): 1-6.
[2]	纪明山，冯俊义，黄君艳，颜克成，韩金栋，刘周成. 防治草莓主要真菌病害水分散性粒剂的研究[J]. 河南农业科学, 2012, 41(7): 91-94.
[3]	欧阳雅连;李明凤;侯自花. 动物源性饲料的质量控制及安全性指标[J]. 河南农业科学, 2007, 36(12): 119-120.

基于工作流的统计年鉴数据清洗模型构建

Construction of Statistical Yearbook Data Cleaning Model Based on Workflow

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献

相关文章 3

编辑推荐

Metrics