维普资讯 http://www.cqvip.com 第７卷第４期２００７年２月 科学技术与工程 Ｖｏ１．７ Ｎｏ．４ Ｆｅｂ．２０ｏ７ １６７１—１８１５（２００７）０４—０６２０—０３ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ ⑥ ２ｏｏ７ Ｓｃｉ．Ｔｅｃｈ．Ｅｎｇｎｇ． 数据采集系统关键模块的研究与设计实现 童庆勇 王盼卿 李晓辉 贺天章 （军械１－程学院计算机工程系。石家庄０５０００３） 摘要 数据采集系统是一类很重要的软件，往往设计用作采集海量和复杂数据条目。大数据量数据采集系统在性能上有很高 的要求，特别是在处理方式和效率上。通过对数据采集活动中关键业务流程的研究，分析并设计了该系统关键模块，实现了高 效、准确地数据采集工作的要求。 关键词数据采集系统数据采集关键模块 Ｂ 中图法分类号ＴＰ２７４；文献标识码数据采集系统。主要完成数据收集、汇总、整理 等工作，常常面对复杂、海量的数据对象，器材编码 所涉及的数据就是这种情况。器材编码是一项标准 化、规范化的重要工程，意义重大。对数据采集系统 准确性和效率的要求都很高。本文描述的是应用于 某领域器材类目编码工程的数据采集系统，并分析 块是提供导入功能的数据接收模块和提供数据冗 余检查的数据处理模块。数据接收模块主要考虑的 是高效率导入问题，冗余检查模块主要考虑效率以 及人机结合检查排除冗余的问题。 ２关键模块的设计实现 ２．１系统的数据流程 其关键技术问题和设计实现了其关键模块。 １关键模块的分析 该领域器材类目数量巨大．涉及几乎现有所 器材数据由基层单位整理并转化为规定格式 的电子表格（ＥＸＣＥＬ），通过电子表格向数据库导 入，导入时同时检查电子表格格式，即数据规范与 有主要国民经济工业门类，编码本身是一个十分 艰巨和长期的工程，在本文不作讨论。本文只讨论 否。如果发现错误行，将记录错误行号，系统通知其 返回修改。图１为描述整个数据流程的简图。 为编码提供数据支持的数据采集系统。首先，现实 的情况是原始数据分散在各个器材管理部门，由 于器材用途的差异、部门问管理水平的差异以及 部门间软硬件设施的差异，使得对原始数据管理 水平差异很大。有的已经实现了很好的数据库管 理，有的只用简单的电子表格进行管理，有的还未 开始对器材条目整理和管理。其次，由于器材本身 可能是标准件或共用件。在设备之间存在大量重 复。在管理部门之间也存在交叉：同时由于生产企 业、管理部门各方面原因，使得部分器材的名称、 件号、规格型号等的不规范。导致部分重复情况无 图１ 数据导人模块数据流程简图 法，通过计算机排除。 从以上分析可以看出，该数据采集系统关键模 ２Ｏ０６年１０月１０日收到 系统录入模块可以把数据直接录入到数据库， 适合未整理的器材数据以及向数据库新增加条的 目的。对已经实现计算机管理的器材数据，则通过 数据导入模块完成；录入模块还可用于已导人数据 维普资讯 http://www.cqvip.com ４期 童庆勇。等：数据采集系统关键模块的研究与设计实现 ６２１ 条目的修改、增减。下级部门采集数据并处理完毕 后．通过系统生成包含器材数据的数据库文件，上 报给上级器材管理部门；上级器材管理部门使用汇 总功能．将数据汇总。经处理后向更上一级上报数 据。下面这段代码作用就是汇总由下级上报的数 据。 ｉｆ ｔａｂｌｅＮｏ＜ＮｕｍｏｆＡＵＴａｂｌｅ ｔｈｅｎ／／将表名读出 ｔａｂｌｅｓ：＝ｔａｂｌｅｓ＋ＡｌｌＴａｂｈ［ｔａｂｌｅＮｏ］＋ ， ｅｌｓｅ ｔａｂｌｅｓ：＝ｔａｂｌｅｓ＋Ａｌｌ ｒａｂｌｅｆｔａｂｌｅＮｏ］＋ ） ； ＂／＂＋ｐａｓｓ＋ ＠ ＋ｓｅｒｖｅｒ／，数据库登录命令 ｌｉｎｅｃｍｄ：＝ ｉｍｐ ＋ｃｏｎｎｅｃｔｓｔｒ＋ｔａｂｌｅｓ＋ ｆｉｌｅ＝ ” ＋ｄａｔａｆｉｌｅ＋ …”’ｉｇｎｏｒｅ＝ｙ ： ／／Ｏｒａｃｌｅ读数据文件操作命令 ｒｅｓｕｌｔ：＝ＷｉｎＥｘｅｃＡｎｄＷａｉｔ３２（１ｉｎｅｃｍｄ。ＳＷ＿ＨＩＤＥ）；／，执行命令并返回 结果 ｉｆ ｒｅｓｕｈ＜＞Ｏ ｔｈｅｎ Ａｐｐｌｉｃａｔｉｏｎ．ＭｅｓｓａｇｅＢｏｘ（ 接收数据失败！ 。 出错 ． ＭＢ＿Ｉ【ＣＯＮＥＲＲＯＲ）； ２．２采用中间表技术的数据导人模块的实现 前文已经提到过，该领域器材数量巨大，这 对导人模块的可靠性、速度和效率提出了很高 的要求。如何设计出可靠性好、速度快的导人模 块。关系整个系统的成败。数据导人过程中主要 有以下几点影响导人效率．电子表格的读取方 式、目标数据表的大小以及向目标数据表的写 入方式。 电子表格单页数据超过一万条以后，逐个读出 电子表格的数据项效率较低。解决办法是通过一个 特殊二维数组变量将电子表格数据区域整块读人． 这样从电子表格中读取数据转化到从这个数组空 间取数据，速度得到很大提高。 数据导人的速度也受目标数据表的大小的影 响，但不同的方法受影响的程度却不一致，可采用 的方法有…： 向数据表逐条添加。并为每个数据项赋值； 用带参数的ＳＱＬ语句逐条将条目插入到表尾； 先将数据插入中间表，在中间表上处理数据的 惟一性，然后再整体插入到目标数据表末尾。插入 成功后清空中间表。 假设检查数据惟一性每条需要时间为ｃ。ｃ、ｃ 分别指在目标表和中间表中检查的耗时．在数据表 末尾进行一次插入需要时间为Ｄ。为一个数据项赋 值所需时间为Ｅ，数据条目和数据项分别为ⅣＪ、Ⅳ２。那 么三种方法分别耗时为： 逐条添加：Ⅳ１（ ＋ｃ）； 整条插入：Ｊ７、， （ｃ＋Ｄ）； 中间表：Ｎ Ｃ，＋Ｄ。 Ｅ和Ｄ取决于所采用的计算机软硬件，Ｃ和Ｃ 与 数据表大小相关，数据表越大．则它们越大。实践表 明。在相同计算机软硬件环境下，当目标数据表为 空。待导人电子表格数据１万条．三种导人方法所需 时间分别为：约４５ ｓ、约１２０ ｓ、约３００ ８：当目标数据 表数据为２０万条。待导人电子表格数据１万条。所需 时间分别为约６０ ｓ、约３００ ｓ、大于３０ ｍｉｎ。可见采用 中间表的导人方法效率很高。而且受目标数据表大 小的影响不大。 采用中间表导人的前提是每次导人的器材数 据都归属一个类属，这样只需在目标数据表进行一 次惟一性检查，避免每条数据都进行。极大提高了 效率。 ２．３冗余数据处理模块的设计实现 冗余数据处理模块为器材编码工作提供规范 化、无冗余数据。冗余处理的主要对象是器材中的 通用器材和共用器材。 标准件是标准化的器材。有规范的名称、规格 型号、件号等。通过这几个字段就可以惟一区分一 种器材。系统根据判定器材名称、规格型号、件号是 否完全相同，相同的判定为冗余条目，保留其中一 条，其余作相应处理后从条目中去除。 共用件是同时使用在几个或一类设备上的器 材。由于其并不是标准化的器材，部分共用器材在 名称、规格型号、件号的不够规范。不能完全通过计 算机准确判断。为了保证数据的准确性。需要专业 人员通过使用系统来完成排除。为最大限度提高处 理效率，系统提供主要字段排序功能、搜索功能．专 业人员使用这些功能可以快速地判定那些相似条 目是否为冗余数据，从而进行处理。 专用件是使用在单个型号设备上的器材。在导 人模块设置不能重复导人一个型号的设备．即可保 证专用件的惟一性。 ３结束语 通过对器材编码需求以及实际数据采集工作 的详细分析，研究并设计了数据采集系统。本文简 （下转第６２８页） 维普资讯 http://www.cqvip.com 科学技术 与 工程 ７卷 术，增强ＣＲＭ的功能。 参 考 文 献 ｌ Ｊｉａｗｅｉ Ｈａｒｔ．Ｋａｍｂｅｒ Ｍ．Ｄａｔａ ｍｉｎｉｎｇ ｃｏｎｃｅｐｔｓ ａｎｄ ｔｅｃｈｎｉｑｕｅｓ．北 ３王扶东，李兵，薛劲松，等．Ｆａｓｔ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅ ｍｉｎｉｎｇ ｉｎ ＣＲＭ．北 京：中国科学院研究生院学报，２００４；（３）：３５８—３６５ ４佟强，周园春，阎保平．关联规则挖掘算法．西安：微电子学与计 算机，２００５；（６）：６８—７２ ５ Ｈａｎ Ｊ，Ｐｅｉ Ｊ，Ｙｉｎ Ｙ，ｅｔ ｏ１．Ｍｉｎｉｎｇ ｆｒｅｑｕｅｎｔ ｐａｔｔｅｒｎｓ ｗｉｔｈｏｕｔ ｃａｎｄｉｄａｔｅ ｇｅｎｅｒａｔｉｏｎ．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ—ＳＩＧＭＯＤ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｍａｎａｇｅｍｅｎｔ ｏｆＤａｔａ．Ｄａｌｌ勰。ＴＸ。２０００；ｌ—ｌ２ 京：机械工业出版社．２００１ ２钱旭潮，裒海波，丁源．企业客户关系管理．北京：科学出版社。 ２０ｏ４ ｃａｔｉｏｎ ｏｆ Ｃｏｎｓｔｒａｉｎｔ－ｂａｓｅｄ Ａｓｓｏｃｉａｔｉｏｎ Ｒｕｌｅ Ｍｉｎｉｎｇ ＺＨＡＮＧ Ｒｕ，ＹＡＮＧ Ｚｈｉ－ｙｉ （Ｃｏｌｌｅｇｅ ｏｆ Ｓｏｆｔｗａｒｅ ａｎｄ Ｍｉｅｒｏｅｌｅｅｔｒｏｎｉｃｓ，Ｎｏｒｔｈｗｅｓｔｅｒｎ Ｐｏｌｙｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ ａｌｌ ７１００６５。Ｐ．Ｒ．Ｃｈｉｎａ） ［Ａｂｓｔｒａｃｔ］ Ｕｓｉｎｇ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅ ｍｉｎｉｎｇ ｃａｌｌ ｆｉｎｄ ｔｈｅ ａｓｓｏｃｉａｔｉｏｎ ｆｒｏｍ ｈｕｇｅ ａｍｏｕｎｔ ｏｆ ｄａｔａ ｉｎ ｂｕｓｉｎｅｓｓ ｏｒ ｏｔｈｅｒ ｉｆｌｅｄ．Ｉｔ ｐｒｏｖｉｄｅｓ ｔｈｅ ｉｍｐｏｒｔａｎｔ ｉｎｆｏｒｍａｔｉｏｎ ｔｏ ｄｅｃｉｓｉｏｎ－ｍａｋｉｎｇ．Ａｐｐｌｙｉｎｇ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅ ｍｉｎｉｎｇ ｔｏ ＣＲＭ ｃａｎ ｄｅｅｐｅｎ ｔｈｅ ａｎａｌｙｔｉｃ ｆｕｎｃｔｉｏｎ ｏｆ ＣＲＭ．Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｅｎｔｅｒｐｒｉｓｅｓ ｎｅｅｄｓ ａｎｄ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｃｒｏｓｓ－ ｓｅｌｌｉｎｇ，ａ ｃｏｎｓｔｒａｉｎｔ－ｂａｓｅｄ ＦＰ－ｇｒｏｗｔｈ ａｌｇｏｒｉｔｈｍ ｉｓ ｐｒｅｓｅｎｔｅｄ ａｆｔｅｒ ａｎａｌｙｚｉｎｇ ｔｈｅ ｃｏｎｓｔｒａｉｎｔ－ｂａｓｅｄ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅ ｍｉｎｉｎｇ．Ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｃｏｎｓｔｒａｉｎｔ－ｂａｓｅｄ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅ ｍｉｎｉｎｇ ｉｎ ＣＲＭ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｓｕｐｐｏｒｔ ｅｎｔｅｒｐｒｉｓｅｓ ｔｏ ｍａｋｅ ｍｅｒｃｈａｎｄｉｓｅ ｐｌａｎｎｉｎｇ． ［Ｋｅｙ ｗｏｒｄｓ］ｃｏｎｓｔｒａｉｎｔ－ｂａｓｅｄ ａｓｓｏｃｉａｔｉｏｎ ｒｕｌｅ ｍｉｎｉｎｇ ｃｕｓｔｏｍｅｒ ｒｅｌａｔｉｏｎｓｈｉｐ ｍａｎａｇｅｍｅｎｔ ｃｒｏｓｓ—ｓｅｌｌｉｎｇ （上接第６２１页） 述了数据导人模块和冗余处理模块涉及到的主要 技术难题及其解决方法，其中对采用中间表的数据 参 考 文 献 ｌ Ｄａｔｅ Ｃ Ｊ．Ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｄａｔａｂａｓｅ ｓｙｓｔｅｍｓ（ｓｅｖｅｎｔｈ ｅｄｉｔｉｏｎ）．北 京：机械工业出版社．２０００ 导人技术有着极高的数据导人的效率。希望可以作 为该领域类似工程技术的参考方法。 ｏｆ ｔｈｅ Ｋｅｙ Ｍｏｄｕｌｅｓ ｏｆ Ｄａｔａ Ｃｏｌｌｅｃｔｉｏｎ Ｓｙｓｔｅｍ ＴＯＮＧ Ｑｉｎｇ－ｙｏｎｇ，ＷＡＮＧ Ｐａｎ－ｑｉｎｇ，ＬＩ Ｘｉａｏ－ｈｕｉ，ＨＥ Ｔｉａｎ－ｚｈａｎｇ （Ｄｅｐａｒｔｍｅｎｔ ｏｆＣｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｏｒｄｎａｎｃｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｌｌｅｇｅ，Ｓｈｉｊｉａｚｈｕａｎｇ ０５０００３。Ｐ．Ｒ．Ｃｈｉｎａ） ［Ａｂｓｔｒａｃｔ］Ｄａｔａ ｃｏｌｌｅｃｔｉｏｎ ｓｙｓｔｅｍ ｉｓ ｏｎｅ ｉｍｐｏｔｒａｎｔ ｋｉｎｄ ｏｆ ｓｏｆｔｗａｒｅ．Ｉｔ ｉｓ ａｌｗａｙｓ ｄｅｓｉｇｎｅｄ ｆｏｒ ｔｈｅ ｍａｇｎａｎｉｉｔｍｙ ｏｒ ｃｏｍｐｌｅｘｉｔｙ ｄａｔａ ｏｂｊｅｃｔ．Ｍａｇｎａｎｉｍｉｔｙ ｄａｔａ ｃｏｌｌｅｃｔｉｏｎ ｓｙｓｔｅｍ ｉｓ ｒｅｑｕｉｒｅｄ ｇｒｅａｔ ｉｎ ｐｅｒｆｏｒｍａｎｃｅ，ｅｓｐｅｃｉａｌｌｙ ｉｎ ｄｅａｌｉｎｇ ｍｏｄｅ ａｎｄ ｅｆｆｉｃｉｅｎｃｙ．Ｔｈｒｏｕｇｈ ｔｈｅ ｒｅｓｅａｒｃｈ ｏｆ ｋｅｙ ｏｐｅｒａｔｉｏｎ ｆｌｏｗ ｉｎ ｄａｔａ ｃｏｌｌｅｃｔｉｏｎ， ｋｅｙ ｍｏｄｕｌｅｓ ｈａｖｅ ｃｏｌｌｅｃｔｉｏｎ ｗｏｒｋ． ｂｅｅｎ ａｎａｌｙｚｅｄ ａｎｄ ｄｅｓｉｇｎｅｄ，ｗｈｉｃｈ ａｃｈｉｅｖｅ ｈｉ ｇｈ ｅｆｆｉｃｉｅｎｃｙ ａｎｄ ｎｉｃｅｔｙ ｒｅｑｕｉｒｅｍｅｎｔ ｉｎ ｔｈｅ ｄａｔａ ［Ｋｅｙ ｗｏｒｄｓ］ｄａｔａ ｃｏｌｌｅｃｔｉｏｎ ｓｙｓｔｅｍ ｄａｔａ ｃｏｌｌｅｃｔｉｏｎ ｋｅｙ ｍｏｄｕｌｅｓ
