（测试计量技术及仪器专业论文）erp相关技术在网通公司的应用研究.pdf

摘要 摘要 随着信息时代的到来，越来越多的企业意识到信息对一个企业的意义。然 而，如何运用信息最大程度的利用企业的各种资源，以及面对庞大的数据量，如 何找到出对企业具有价值的信息，最大程度的提高企业竞争力，却一直是困扰着 企、世的难题。随着e r p 管理思想在企业管理领域内的广泛认可，以及数据挖掘等 一系列技术的发展，人们正在找到一条突破瓶颈的途径。 本文在对e r p 及运用于其上的数据挖掘处理技术介绍的基础上，探讨了网通 公司业务的e r p 的解决方案，并对其数据挖掘等模块的实现予以了尝试。本文首 先在回顾e r p 发展过程的基础上对e r p 的体系结构等做详细的介绍；接着较为详 细的介绍了与e r p 紧密联系的数据挖掘、数据仓库等信息处理技术，对它们的使 用结构、使用步骤、使用的技术、所具有的优势等予以了介绍；之后，对e r p 实现中至关重要的数据库连接技术和中间件技术一- - a d o n e t 和w e bs e r v i c e 做 了详细的介绍。在以上介绍的基础上，针对网通公司的业务，提出了其业务的 e r p 解决方案，并对方案的结构、功能进行了探讨。最后，针对该方案中的决策 支持子系统的客户信用等级运用数据挖掘中的分类算法予以实现。 关键词：e r p 数据挖掘数据仓库分类 摘蜚 a b s t r a c t m o r ea n dm o r ee n t e r p r i s e sa r er e c o g n i z i n gt h ei m p o r t a n c eo f i n f o r m a t i o nw i t hi n f o r m a t i o nt i m ec o m i n g b u t ，i ti s h a r df o r e n t e r p r i s e s t ot a k e a d v a n t a g eo fi n f o r m a t i o n t o d e v e l o p t h e i r c o m p e t e n c ew h e nt h e yf a c eal a r g en u m b e ro fd a t a i ti sc h a n g i n g b e c a u s eo ft h es i t u a t i o no fa c c e p t i n ge r pt h e o r yi nt h ef i e l do f m a n a g e m e n ta n dt h ei m p r o v i n g o ft h et h e o r ys u c ha sd a t am i n i n g t h i sp a p e rd i s c u s st h ee r pp l a nf o rt h eb u s i n e s so fc n c b a s e do nt h ei n t r o d u c t i o no fe r pa n dd a t am i n i n gu s e di nt h e f o r m e ra n d t r y t or e a l i z et h em o d u l eo fd a t am i n i n g t h e a r c h i t e c t u r eo fe r pi sd i s c u s s e do nt h eb a s eo fi n t r o d u c t i o no ft h e h i s t o r yo fe r rt h e nt h et e c h n o l o g i e s ，s u c ha s d a t am i n i n ga n d d a t aw a r e h o u s ew h i c hh a v eg r e a tw i t he r p , a r ei n t r o d u c e d a f t e r t h a tt h ei m p o r t a n tt e c h n o l o g i e sf o rc o n n e c t i n gw i t hd a t a b a s ea n d m i d d l e w a r ef o re r pw h i c ha r ec a l l e dr e s p e c t i v e l ya sa d o n e ta n d w e b s e r v i c ea r ei n t r o d u c e d t h e n ，t h ee r pp l a na r ep u t f o r w a r d a c c o r d i n gt ot h eb u s i n e s so f c n c t h ea r c h i t e c t u r ea n dt h ef u n c t i o n a r ea l s od i s c u s s e d a tl a s t ，t h e c l a s s f i c a t i o na l g o r i t h mf o rt h e d e c i s i v es u p p o r ts y s t e ma r er e a l i z e d k e yw o r d ：e r p d a t am i n i n gd a t aw a r e h o u s ec l a s s i f i c a t i o n 昆明理工大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下( 或 我个人) 进行研究工作所取得的成果。除文中已经注明引用的内 容外，本论文不含任何其他个人或集体已经发表或撰写过的研究成 果。对本文的研究做出重要贡献的个人和集体，均已在论文中作了明 确的说明并表示了谢意。本声明的法律结果由本人承担。 学位论文作者签名：煎盗途 日 期：z j 年弓月 、目 关于论文使用授权的说明 本人完全了解昆明理工大学有关保留、使用学位论文的规定，即： 学校有权保留、送交论文的复印件，允许论文被查阅，学校可以公布 论文的全部或部分内容，可以采用影印或其它复制手段保存论文。 ( 保密论文在解密后应遵守 导师签名：；益羞盟论文作者签名：姿：鱼燮 日 期： 卵歹年3 ；月 弓日 第1 章绪论 1 1 研究的背景及意义 第1 章绪论 早在2 0 世纪8 0 年代，人们在“物竞天择，适者生存”的大原则下，就认 识到“谁最先从外部世界获得有用信息并女以利用，谁就可能成为赢家”。两今 置身市场经济且面向全球性剧烈竞争的环境下，任何商家的优势都不是单纯地耿 决于如产品、服务、地区等方面因素，而在于创新这种创新既在于管理的创 新，同时也在于知识的创新。优秀的管理加知识作为创新的原动力，就能使商家 长期持续地保持竞争优势。 1 1 1 电信管理领域内的e r p 研究与应用现状。”儿”3 电信营运商在经过从上世纪八十年代开始的大规模信息化建设之后，到目前 为止，基础营运系统已经全面实现信息化。在原邮电部( 现信息产业部) 电信总 局在全国范围领导实施的”9 7 工程”全面竣工后，电信营运商的营业、计费、网 管这三大块主要生产业务已经完全实现计算机化管理。电信营运商的下一步信息 化建设重点是以管理信息化为中心的e r p 等方案建设。 但是，由于目前流行的e r p ( e n t e r p r i s er e s o u r c ep l a n n i n g ，企业资源规 划) 是从制造行业的管理信息化系统发展而来，目前国内的e r p 厂商都还没有专 门的针对电信行业的解决方案产品，网通、电信、移动、联通等营运商目前的管 理信息化产品提供厂商都是传统的电信行业集成商或电信b o s s ( b u s s i n e s o p e r a t i o ns u r p o r ts y s t e m ，业务运营支撑系统) 提供商，并且在行业内还没有 形成独立的e r p 观念，多是做为b o s s 的一个附属系统“。目前，唯一在国内 电信运营领域实施的e r p 是中国电信旗下上海电信于2 0 0 4 年投入的e r p 系统。 因此，在国内电信运营领域内对e r p 的研究和应用尚处于起步阶段。 而随着电信市场的竞争f i 渐加剧，某些细分市场( 如固定电话) 的市场同渐 饱和，粗放式的占领市场、增加用户量等经营策略已经难以保持企业的竞争优势， 随着各大电信运营商的陆续上市，电信营运商提升内部管理水平，向管理要效益 正在成为新的应用热点；同样的，营运商的信息化建设也必然从重点为基础业务 应用转到重点为管理信息化建设上来。因此e r p 管理思想以其最大程度的利用 企业内部的资源达到最佳的企业效益的核心理念，以及对客户需求的高效灵活的 反应能力f 越来越受到电信运营商的关注“。 第1 章绪论 1 1 2 数据挖掘的研究与应用 多年来，数理统计技术方法以及人工智能和知识工程等领域的研究成果，诸 如推理、机器学习、知识获取、模糊理论、神经网络、进化计算、模式识别、羊日 糙集理论等等诸多研究分支被分别引入到数据挖掘领域，给开发数据深度分析工 具提供了坚实而丰富的理论和技术基础。这类数据挖掘技术的最新成果，除了有 效解决适应现实世界中数掘的多种特性( 即量大、含噪声、不完整、动态、稀疏 性、异质、非线性等) 的问题外，也能够有效的解决从数据仓库中发现仓库所包 俞大量数据之间的潜在关联和规律问题| 4 。 数据挖掘在国内还只是起步阶段，基本上没有一个完整并且功能强大的解决 方案目前在国内主要的几个数据挖掘的国外软件包括s a s 、s p s s 和i b md b 2 i n t e l l i g e n c em i n e r 等，大部分的应用主要集中在决策树、聚类分析等方面， 主要是银行、保险业在使用，而被看好的信息化程度偏高电信等行业，其应用丽 仍然 一分有限，但是恰恰是在这些行业的，客户的需求扮演着重要角色，准确、 科学地把握客户的需求是关系着企业的未来”“。 由此可见，将e r p 思想引入国内电信运营管理领域，并利用数据挖掘技术 对其进行辅助决策支持，既有其技术应用成熟的背景，又有其应用的需求。本文 既是对国内电信运营商管理模式进行e r p 方面的尝试，并结合数据挖掘技术为 e r p 提供了较好的决策支持性能进行了探讨。 如2 常企业资源汁划( e r p ) 第2 章企业资源计划( e r p ) 在当今的信息时代，信息技术的迅速发展加快了制造企业的现代化与信息化 的进程。计算机技术与管理科学的结合促进了现代企、i k 管理技术的形成。企业管 理涉及企业经营战略、经营目标、组织与文化、制造资源、资金与成本、技术与 产品丌发、生产计划与控制等方面。现代企业管理技术的目的是通过现代管理模 式与计算机管理信息系统支持企业合理、系统地管理经营与生产，最大限度地发 挥现有设备、资源、人、技术的作用，最大限度地产生企业经济效益。集成化管 理信息系统，如物料需求计划m r p ( m a t e r i a lr e q u i r e m e n t sp l a n n i n g ) 、制造资源 计划m r pi i ( m a n u f a c t u r i n gr e s o u r c ep l a n n i n g ) 与企业资源计划e r p ( e n t e r p r i s e r e s o u r c ep l a n n i n g ) 等，是计算机技术与企业管理技术结合的杰作。近年来，越来 越多的企业在采用m r pi i e r p 和c i m s 等先迸技术，戬便提高企啦的整体效率 和迅速响应不断变化的市场。 2 1 e r p 的发展历程 近3 0 多年来，m i p e r p 技术大致上经历了以下几个阶段 2 1m p r 阶段 早期的m r p 是基于物料库存计划管理的生产管理系统。m r p 系统的目标是： 围绕所要生产的产品，应当在j 下确的时间、地点、按照规定的数量得到真正需要 的物料：通过按照各种物料真正需要的时间来确定订货与生产日期，以避免造成 库存积压。 7 0 年代，m r p 经过发展形成了闭环的m r p 生产计划与控制系统。m r p 基 本原理是，将企、韭产品中的各种物料分为独立耪料和相关物辩，并按时间段确定 不同时期的物料需求；基于产品结构的物料需求组织生产，根据产品完工日期和 产品结构规定生产计划：从而解决库存锈料订货与缀织生产阀题。m r p 以物料 为中心的组织生产模式体现了为顾客服务、按需定产的宗黯，计划统一且可行， 并且借助计算枫系统实现了对生产的阂环控制，比较经济和集约化。 鹕2 章企业资镡计划( e r i ) 2 1 2m p r ii 阶段 7 0 年代末和8 0 年代初，物料需求计划m i 冲经过发展和扩充逐步形成了制 造资源计划m r p i i 的生产管理方式。在m r p i i 巾，一切制造资源，包括人工、 物料、设备、能源、市场、资金、技术、空间、时间等，都被考虑进来。m r pi i 的基本思想是：基于企业经营目标制定生产计划，围绕物料转化组织制造资源， 实现”在正确的时间制造和销售正确的产晶”这样一个目的，在此过程中将企业的 ”人”、”财”、”物”进行集中管理。m r pt l 主要技术环节涉及：绎营规划、销售与 运作计划、主生产计划、物料清单与物料需求计划、能力需求计划、车间作业管 理、物料管理( 库存管理与采购管理) 、产品成本管理、财务管理等。从一定意义 上讲，m r pi i 系统实现了物流、信息流与资金流在企业管理方面的集成。出于 m r pi i 系统能为企业生产经营提供一个完整而详尽的计划，可使企业内各部门 的活动协调一致，形成一个整体，它能提高企业的整体效率和效益。 2 1 3e r p 阶段 9 0 年代以来，m i l p i i 经过进一步发展完善，形成了目前的企业资源计划e r p 系统。与m i 冲i i 相比，e r p 除了包括和加强了m r p i i 各种功能之外，更加面向 全球市场，功能更为强人，所管理的企业资源更多，支持混合式生产方式，管理 覆盖面更宽，并涉及了企业供应链管理，从企业伞局角度进行经营与生产计划， 是制造企业的综合的集成经营系统。e r p 所采用的计算机技术也更加先进，形成 了集成化的企业管理软件系统。 2 2e r p 概述 22 1e r p 概念： e r p ( e n t e r p r i s er e s o u r c e sp l a n n i n g ，”企业资源计划”) ，可以从管 理思想、软件产品、管理系统三个层次给出它的定义： 1 ) 是出美国著名的训 算机技术咨询和评估集团g a r t e rg r o u pi n c 提出了一整套企业管理系统体 系标准，其实质是在m r p i i ( m a n u f a c t u r i n gr e s o u r c e sp l a n n i n g ，”制造资 源计划”) 基础上进一步发展而成的面向供应链( s u p p l yc h a i n ) 的管理思想； 2 ) 是综合应用了客户机服务器体系、关系数据库结构、面向对象技术、图形用 户界面、第四代语言( 4 g l ) 、网络通讯等信息产业成果，以e r p 管理思想为灵 户界面、第四代语言( 4 g l ) 、网络通讯等信息产业成果，以e r p 管理思想为灵 第2 章企业资源计划( e r p ) 2 1 2m p r ii 阶段 7 0 年代末和8 0 年代初，物料需求计划m r p 经过发展和扩充逐步形成了制 造资源计划m r pi i 的生产管理方式。在m r pl i 中，一切制造资源，包括人工、 物料、设备、能源、市场、资金、技术、空问、时间等，都被考虑进来。m r pi i 的基本思想是：基于企业经营目标制定生产计划，围绕物料转化组织制造资源， 实现”在正确的时间制造和销售j 下确的产品”这样一个目的，在此过程中将企业的 ”人”、”财”、”物”进行集中管理。m r p 主要技术环节涉及：经营规划、销售与 运作计划、主生产计划、物料清单与物料需求计划、能力需求计划、车间作业管 理、物料管理( 库存管理与采购管理) 、产品成本管理、财务管理等。从一定意义 上讲，m r pi i 系统实现了物流、信息流与资金流在企业管理方面的集成。由于 m r p1 i 系统能为企业生产经营提供一个完整而详尽的计划，可使企业内各部门 的活动协调一致，形成一个整体，它能提高企业的整体效率和效益。 2 1 3e r p 阶段 9 0 年代以来，m r p 经过进一步发展完善，形成了目前的企业资源计划e r p 系统。与m r pi i 相比，e r p 除了包括和加强了m r pi i 各种功能之外，更加面向 全球市场，功能更为强大，所管理的企业资源更多，支持混合式生产方式，管理 覆盖面更宽，并涉及了企业供应链管理，从企业全局角度进行经营与生产计划， 是制造企业的综合的集成经营系统。e r p 所采用的计算机技术也更加先进，形成 了集成化的企业管理软件系统。 2 2 e r p 概述 2 2 1e r p 概念： e r p ( e n t e r p r i s er e s o u r c e sp l a n n i n g ，”企业资源计划”) ，可以从管 理思想、软件产品、管理系统三个层次给出它的定义： 1 ) 是由美国著名的计 算机技术咨询和评估集团g a r t e rg r o u pi n c ，提出了一整套企业管理系统体 系标准，其实质是在m r p i i ( m a n u f a c t u r i n gr e s o u r c e sp l a n n i n g ，”制造资 源计划”) 基础上进一步发展而成的面向供应链( s u p p l yc h a i n ) 的管理思想： 2 ) 是综合应用了客户机服务器体系、关系数据库结构、面向对象技术、图形用 户界面、第四代语言( 4 g l ) 、网络通讯等信息产业成果，以e r p 管理思想为灵 第2 章企业资源计划( e r p ) 魂的软件产品：3 ) 是整合了企业管理理念、业务流程、基础数据、人力物力、 计算机硬件和软件于一体的企业资源管理系统。 图2 1e r p 概念层次图 e r p 的概念层次可如图2 1 所示。对于企业来说，我们可以认为，e r p 就是一 个有效地组织、计划和实施企业的”人”、”财”、”物”管理的系统，它依靠i t 的 技术和手段以保证其信息的集成性、实时性和统一性。 2 2 2e r p 与m r p l l 、赫l s 的比较 2 2 2 1e r p 与m r p i i 的比较 e r p 是在m r p i i 基础上进一步发展的企业管理系统，但e r p 在以下方面与 m r p i i 存在着一定的差异。 1 、在资源管理范围方面的差别 m r p i i 主要侧重对企业内部人、财、物等资源的管理，e r p 系统在m r p i i 的基础上扩展了管理范围，它把客户需求和企业内部豹制造活动、以及供应商的 制造资源整合在一起，形成企业一个完整的供应链( s u p p l yc h a i n ) 并对供应链 上的所有环节进行有效管理，这些环节包括订单、采购、瘁存、计划、生产毒造、 质量控制、运输、分销、服务与维护、财务管理、人事管理、实验室管理、项目 管理、配方管理等。 2 、在生产方式管理方面的差别 m r pi i 系统把企业归类为几种典型的生产方式来进行管理，如重复制造、 批量生产、按订单生产、按订单装配、按库存生产等，对每种类型都有一套管 理标准。丽在8 0 年代末、9 0 年代牵刀翳，企业为了紧跟市场的变化，多品种、小 批量生产以及看板式生产等则是企业主要采用的生产方式，单一的生产方式向混 合型生产发展，e r p 则能很好地支持和管理混合型制造环境，满足了企业的这种 多角化经营需求。 3 、在管理功能方面的差别 e r p 除了m r p i i 系统的制造、分销、财务管理功能外，还增加了支持整个 供应链上物料流通体系中供、产、需各个环节之间的运输管理和仓库管理；支持 生产保障体系的质量管理、实验室管理、设备维修和备品备件管理；支持对工作 流( 业务处理流程) 的管理。 筇2 章企业资源计划( e r p ) 4 、在事务处理控制方面的差别 m r pi i 是通过计划的及时滚动来控制整个生产过程，它的实时性较差，一般 只能实现事中控制。而e r p 系统支持在线分析处理o l a p ( o n l i n e a n a l y t i c a lp r o c e s s i n g ) 、售后服务及质量反馈，强调企业的事前控制能 力，它可以将设计、制造、销售、运输等通过集成来并行地进行各种相关的作业， 为企业提供了对质量、适应变化、客户满意、效绩等关键问题的实时分析能力。 此外，在m r p l l 中，财务系统只是一个信息的归结者，它的功能是将供、 产、销中的数量信息转变为价值信息，是物流的价值反映。而e r p 系统则将财 务计划功能和价值控制功能集成到整个供应链上，如在生产计划系统中，除了保 留原有的主生产计划、物料需求计划和能力计划外还扩展了销售执行计划s o p 和利润计划。 5 、在跨国( 或地区) 经营事务处理方面的差别 现在企业的发展，使得企业内部各个组织单元之间、企业与外部的业务单元 之间的协调变得越来越多和越来越重要，e r p 系统应用完善的组织架构，从而可 以支持跨国经营的多国家地区、多工厂、多语种、多币制应用需求。 6 、在计算机信息处理技术方面的差别 随着i t 技术的飞速发展，网络通信技术的应用，使得e r p 系统得以实现对 整个供应链信息进行集成管理。e r p 系统采用客户服务器( c s ) 体系结构和分 布式数据处理技术，支持i n t e m e t i n t r a n e t e x t r a n e t 、电子商务( e b u s i n e s s 、 e - c o m m e r c e ) 、电子数据交换e d i ，此外，还能实现在不同平台上的互操作。 2 2 2 2e r p 与m l s 的比较 m i s 即管理信息系统，一般认为是企业各类管理软件的统称。m i s 本来是个 十分宽泛的概念，但是由于过去企业管理软件的应用宽度只限于对信息流的掌 控，无法实现信息流、资金流、物流的有效统一，并且应用层砸往往局限在企业 分散的业务部门，所以造成了m i s 的外延逐渐缩小。e r p 最早开始于制造业， 后逐渐扩展到其它行业。所以，从e r p 的发展起源来看，其概念原本十分狭窄一一 仅仅局限在制造业的企业资源计划方面：但是随着供需链管理( s c m ) 和企业 业务流程重组( b p r ) 等管理理论的引入，e r p 所管理的对象包括了企业人、财、 物、信息等所有的资源和产、供销等所有业务。e r p 扩展了企业内部各种管理功 能的信息集成，而且超出了企业本身的范围，实现了整个供需链上所有相关业务 的信息集成。 鉴于以上e r p 和m r p i i 、以及e r p 和m i s 相比较的优势，本课题采用e r p 的模式予以设计。 6 兰! 里笙些塑堡! 型! ! 婴1 2 3 e r p 的体系结构 e r p 软件系统通常存在两种体系结构：客户机服务器( c s ) 体系结构，浏 览器明务器( b s ) 体系结构。 2 3 1 两层c s 结构 我们的计算模式从终端主机时代、字符p c 时代、g u i 时代发展到当前主流 的i n t e m e t 浏览器时代。计算机以软件体系结构而论经历了以文件为基础的结构， 再到客户服务器结构。目前许多系统都使用二层c s 结构来设计。典型的两层 c s 结构如图2 r 2 所示。 随着二层c s 计算模式不断成熟，也就日益暴露出其局限性。在这种模式中， 所有的形式逻辑和业务逻辑均驻留在c l i e n t 端，而s e r v e r 则成为数据库服务器， 客户机服务器 图2 2c s 结构示意幽 负责各种数据的处理和维护。因此s e r v e r 变得很“瘦”，被称为“瘦服务器 ( t h i ns e r v e r ) ”。与之相反，这种模式需要在客户端运行庞大的应用程序，这就 是所谓的“胖客户机( f a tc l i e n t ) ”。两层c s 结构的一般处理流程用公式表示为： 两层网络计算模式= 多c l i e n t + 单多d a t a b a s es e r v e r + 动态计算 该结构最大的优点在于结构简单，对发和运行的环境简单。但也正是这种结 构，产生了其原生性的问题。随着c s 结构应用范围的不断扩大和计算机网络 技术的发展，这种结构带来的问题日益明显，主要表现在以下几方面： ( 1 ) 系统的可靠性有所降低 一个客户机服务器系统是由各自独立开发、制造和管理的各种硬件和软件 的混合体，其内在的可靠性不如单一的、中央管理的大型机或小型机，出现问题 时，很难立即获得技术支持和帮助。 ( 2 ) 系统资源的浪费 1 、客户机资源：随着客户端的规模越来越大，对客户机资源的要求也越 来越高。尽管硬件不断更新，但新的操作系统和新的应用软件的不断出现，使得 用户对硬件的更新仍然跟不上软件更新的速度。客户不得不在本地硬盘上装入大 笫2 章企业资源计划( e r p ) 量的软件，但是使用的只是其中很少一部分( 一般低于1 0 ) 。在一个拥有众多 的“胖客户机”的环境中，这无疑是一种巨大的浪费。 2 、服务器资源：数据库的并发连接问题，客户机在访问数据前，必须与 数据库建立连接，而建立次连接需要消耗服务器端很多资源，所以为了避免每 次访问数据库时都要建立连接的额外开销，客户端即使在不访问数据库的情况下 也会保持较长的连接。如果同时有成百上千个客户连接数据库，这也会造成资源 的极大浪费，而且任何一个操作都必须通过数据库，数据库通常是最先产生瓶颈 的地方，每增加一个客户，就加重服务器的负担，而服务器的升级能力总是有限 的。 3 、网络资源。由于客户端和服务器端都有大量的业务逻辑，所以为完成 一次应用请求，客户端和服务器需要传输大量的数据，加重网络的负担，在局域 网中，般问题不大，但在广域网上由于网络的不可靠性则会带来问题。 ( 3 ) 维护费用较高 尽管这种应用模式在某种程度上提高了生产效率，由于客户端需要安装庞大 而复杂的应用程序，当网络用户的规模达到一定的数量之后，系统的维护量急剧 增加，因而维护应用系统变得十分困难。 ( 4 ) 系统互联问题 两层结构要实现互联，一定要在统一的系统环境下，异种系统互联根本是不 可能的。 ( 5 ) 安全性问题 在二层结构下。大量代码化的企业业务流程驻留在客户机上，给系统的安全 性带来隐患：同时随着用户数量的增加，这种业务逻辑的维护成本也越来越高； 最后是系统间的通讯功能障碍。当二层计算模式从部门级应用拓展到企业组应用 时，二层结构的应用之间几乎没有交互性操作，因此很难实现分布式系统的组件 技术。 ( 6 ) 系统缺乏灵活性 客户机服务器需要对每一应用独立的开发应用程序，消耗了大量的资源， 但胖客户机的计算模式却仍然满足不了日益增长的应用的需要。在向广域网扩充 ( 如i n t e m e t ) 的过程中，由于信息量的迅速增大，专用的客户端已经无法满足 多功能的需求。 以上这些问题是两层结构的原生性问题，仅仅依靠对二层结构进行细枝末节 的修补和开发，无法很好解决。要真正解决这些问题，必须从根本上改变这种二 层结构设计。 8 第2 章 企业资灏计划( e r p ) 2 3 2 三层b s 结构 黠同芸h 图2 3b s 示意图 采用这种三层体系结构，缓解了服务器的压力，为多个客户同时提供一个数 据库连接，对数据库的访问出应用服务器来管理，客户无需考虑与数据库之间的 接口问题，采用这种方式，一但更改数据库，影响的仅是应用服务器上的数据库 第2 章企业资源计划( e r p ) 接口模块，其他的业务逻辑不需作任何修改。当然，应用服务器需要处理诸如： 通信、认证、错误重发、分配客户对数据库的访问时序、处理客户端的请求并返 回结果等。 在本系统讨论的e r p 中采用的是c s 、b s 混合模式。 第3 章je r p 紧密结合的部分数据处理技术 第3 章与e r p 紧密结合的部分数据处理技术 3 1 数据仓库 3 1 1 数据仓库及相关概念 数据仓库( d a t aw a r e h o u s e ) 是指“一个面向主题的、集成的、随时间变化的 非易失数据的集合，用于支持管理层的决策过程”i i i 。 数据市场( d a t am a r t ) ：一种微型的数据仓库通常具有相较数据仓库来说 更少的数据，更少的主题区域，以及更少的历史数据。可以把它看作是数据仓库 的一个逻辑上或物理上划分的子集。建立数据市场的目的通常是为了服务于特定 的用户群的需要。 数据商店( d a t as t o r e ) ：于数据仓库类似，但是它是按照主题来组织的，并 且数据商店只包含有当前或最近的数据。通常为职员和个人使用，以满足公司和 客户的日常需求，所以不需要存储象数据仓库中所存储的供战略决策人员所使用 的历史数据。 3 1 2 数据仓库的运作过程 在将不同运行数据库中的数据装入到数据仓库之前，对要装入的数据进行转 换。去掉源系统的编码、数据类型和其他“特征”中的不一致性，从而将这些数 据集成的移植到数据仓库中，并将转换后的数据以主题为标准归入各个主题区 域，通过数据仓库所存储的历史记录、运行的详细信息和总结性数据对企业的战 略决策予以支持【2 1 。 3 1 3 数据仓库的结构啪 在网3 1 中显示了数据仓库的结构。主要包括下面一些组成部分： 物理数据仓库。物理数据仓库中保存了数据仓库中存储的所有数据，以及数 据结构和其他数据。 逻辑数据仓库。同样保存了数据结构和相应的细节数据，但是并不存放任何 实际的信息，而是保存了获取实际数据所需的地址信息。这种结构只有当数 据存放在一起时爿有效。 第3 章 0e r p 紧密结含的部分数据处理技术 数据中心。数据中心是企业级的数据仓库的一个子集，通常是为某个特定的 企业元素服务而设立的。作为交互式的数据仓库开发过程中的一部分，氽业 建立了一系列的物理和逻辑中心，并将它们联系起来组成企业级的数据仓库。 凰凰凰 远行数据库 图3 1数据仓库结 3 1 4 数据仓库的优势 运行数据库 将数掘仓库技术和e r p 相结合，具有的优势是多方面的”i j ： 提供性能价格比最高的决策支持信息。同传统的数据库系统相比，数据仓库将 减少系统对人员和计算机资源的需求，这通常带来很大的节约。同时，数据仓 库还可阻避免传统系统进行复杂查询或分析时的附加费用。 更好的人工智能。由数据仓库带来的高质量的、灵活性强的数据分析能力。 以及提供不同层次信息的能力，均从某些方面提高了系统的智能。 提高客户服务水平。通过统一的保存顾客的信息，并且可以由各个部门使用， 企业可以对顾客进行更好的服务。 业务重组。通过对企业信息的无限制的分析，往往能产生一些有突破意义的 想法。只需要为数据仓库简单的定义企业目标，数据仓库系统就会不断自动 第3 乖1 je r p 紧密结台的部分数据处理技术 的进行分析，往往带来更好的系统表现和评价方法。理解这些信息的重要性 将为业务重组提供方向。 信息系统重整。由于数据仓库是建立在整个企业的信息需求之上的，那么就 为信息系统的建立提供了一个优质的数据资源，于是数据仓库的建立往往是信息 系统改造的第一步。 3 2 数据挖掘 3 2 1 数据挖掘概述 数据挖掘( d a t am i n i n g ，篱称d m ) ，又稼为数据痒中知识发现( k n o w l e d g e d i s c o v e r yf r o md a t a b a s e ，简称k d d ) ，简单地讲就是从大量数掘中挖掘或抽取 出知识，它是一个从大量数据中抽取挖掘出未知的、有价值的模式或规律等知识 的复杂过程。1 5 1 3 2 2 数据挖掘的任务。 预测从实例中总结出规则。运用已开发的模型预测目标变量的未来价值 归粪找到适当的函数，在一个实例和一组不同的模型类别的成员间建立映射 发现关系发现对选定的目标变量影响蹑大的独立变量 明晰的建模建立公式以描述不同变量之间的相互关系 聚类确定用以描述数掘的有限数量的一组集合 区别偏离一确定数据从现在变为预测值的过程中，其中关键值会发生的最显 著的变化 3 2 3 数据挖掘系统组成“” f 1 ) 数据库、数据仓库或其它信息库。 它表示数据挖掘对象是由一个( 或一组) 数据库、数据仓库、数据表单或其 它信息数据库组成。通常需要使用数据清洗和数据集成操作，对这些数据对象进 行初步的处理。 ( 2 ) 数据库或数据仓库服务器。 这类服务器负责根据用户的数据挖掘请求，读取相关的数据。 第3 章je r p 紧辩结台的部分数据处理拉术 ( 3 ) 知识库。 此处存放数据挖掘所需要的领域知识，这些知识将用于指导数据挖掘的搜索 过程，或者用于帮助对挖掘结果的评估。挖掘算法中所使用的用户定义的闽值就 是最简单的领域知识。 ( 4 ) 数据挖掘引擎。 这是数据挖掘系统的最基本部件，它通常包含一组挖掘功能模块，以便完成 定性归纳、关联分析、分类归纳、进化计算和偏差分析等挖掘功能。 ( 5 ) 模式评估模块。 该模块可根据趣味标准( i n t e r e s t i n g n e s sm e a s u r e s ) ，协助数据挖掘模块聚焦 挖掘更有意义的模式知识，当然该模块能否与数据挖据模块有机结合，与数据挖 掘模块所使用的具体挖掘算法有关。显然若数据挖掘算法能够与知识评估方法有 机结合将有助提高其数据挖掘的效率。 ( 6 ) 可视化用户界面。 该模块帮助用户与数据挖掘系统本身进行沟通交流。一方面用户通过该模块 将自己的挖掘要求或任务提交给挖掘系统，以及提供挖掘搜索所需要的相关知 识；另一方面系统通过该模块向用户展示或解释数据挖掘的结果或中间结果；此 外，该模块也可以帮助用户测览数据对象内容与数据定义模式、评估所挖掘出的 模式知t ，以及以多种形式展示挖掘出的模式知识。 一个典型数据挖掘系统部件组成如图3 2 所示 图3 2数据挖掘系统总体结构 4 数据仓库 知识库 第3 章oe r p 紧崭结台的部分数掘处理技术 3 2 4 数据挖掘步骤 整个数据挖掘过程是由若干挖掘步骤组成而数据挖掘仅是其中的一个主要 步骤。整个知识挖掘的主要步骤有： ( 1 ) 数据集成( d a t ai n t e g r a t i o n ) 其作用就是将来自多据源中的相关数据组合到一起。 ( 2 ) 数据转换( d a t at r a n s f o r m a t i o n ) 其作用就是将数据转换为易于进行数据挖掘的数据存储形式。 ( 3 ) 数据挖掘( d a t am i n i n g ) 它是知识挖掘的一个基本步骤，其作用就是利用智能方法挖掘数据模式或规 律知识。 ( 4 ) 模式评估( p a t t e me v a l u a t i o n ) 其作用就是根据一定评估标准( i n t e r e s t i n gm e a s u r e s ) 从挖掘结果筛选出有意 义的模式知识。 ( 5 ) 知识表示( k n o w l e d g e p r e s e n t a t i o n ) 其作用就是利用可视化和知识表达技术，向用户展示所挖掘出的相关知识。 虽然数据挖掘仅仅是整个知识挖掘过程中的一个重要的步骤，但由于目前工 业界、媒体、数据库领域总，“数据挖掘”一词已被广泛的使用并被普遍接受， 所以在这里，知识挖掘也被统称为数据挖掘。 数据挖掘的全过程描述如图3 3 所示。 图3 3 数据挖掘全过程示意描述 3 章，je r p 紧密结台的部分数据处理技术 3 2 5 数据挖掘中使用的技术。” 数据挖掘中有如下常用的技术： 神经网络是些通过训练样本进行学习的非线性的预测模型，其结构与生物 的神经系统有相似之处。 规则归纳依据统计e 的显著性水平归纳出一些“如果一那么一”式的 规则。 演化编程这是数据挖掘领域最年轻、最富有前景的一个分支。其基本思想是 系统自动地对有关目标变量与其他变量的关系所做出的假设进行公式化，表达 式用一种编程语言进行编写。 实例推断这种技术的想法很简单。为了预测将来的状况，或做出正确的决策， 系统从过去的实例中找到与当前状况类似的案例。然后就采用过去成功的解 决方案来解决现实问题、如此，这种方法也被称之为最近邻里法。 决策树即是用树形结构图来描述决策集合。并由这些决策集来产生数据集的 归类。 遗传算法指的是最优化技术中的一类在优化中使用遗传组合、排列组合和自 然选择等基于进化思想的优化技术。 非线性回归模型这种方法用于解决如何在目标变更和其他变量间建立联系 与关系、所得的关系式更适合于后续分析和按条理进行解释( 通常现实世界 太复杂，要做到这一点是很困难的) 。这种方法在处理实际应用中，比如金融 市场分析和医疗诊断，就可能提供更好的解决方案。 3 2 。6 数据挖掘的优势m 1 自动地预测趋势和行为 数据挖掘能自动执行从大量数据库中搜寻可预测信息的工作。传统上要靠大 规模人工投人7 j 能解决的问题现在能直接从数据库中得到答案。这种可预测性问 题的典型例子，如定位目标市场。数据挖掘分析有关过去发送的推销用的邮品的 数据，判断客户目标，使将来邮品推销有可能取得摄多的收益。其他例子包括预 测企业是否会破产或其他违背契约的行为，确定会对待定事件做出相应反应的特 定人群等。 自动的发现以前未知的规则 数据挖掘工具遍布整个数据库，并进一步确定先前未知的范式。这方面的例 子山如通过分析有关零售集团的数据，以确定一些看似不相关却常被一起购买的 商品。其他的还比如检测可能的欺诈性信用卡交易行为。 1 6 第3 帝1e r p 紧密结台的部分数据处理技术 数据库在深度和宽度达到更大规模 这样的数据库有更多的数据行和列。通常分析员们由于时间限制在做数据 分析时必须限制处理变量的数量。然而，被丢弃的变量，虽然不重要，却可能包 含未知的范式信息。高效的数据挖掘使得用户能全面纵深地利用数据库，不必枣 先选定要处理的变量集数据挖掘型数据库有更大的模板，这些模板能降低估计的 误差和偏差，从而用户能针对规模虽小，但却很重要的特定人群做出有价值的判 断。 数掘挖掘技术在现有的软、硬件设施基础上实现自动化创造收益，如果现有 平台升级和开发出了新产品，也能够顺利在新系统中实旌。在高效率的井行计算 环境中实现数据挖掘技术，处理超大规模数据库也只是几分钟的事。更快的处理 速度使用户能自动地采用更多的模型去理解复杂数据。 第4 章数据库访问技术( a d on e t ) 和w e bn e r v i c e 第4 章数据库访问技术( a d o n e t ) 和w e bs e r v i c e 伴随着信息时代到来，数据库存取技术已转眼从0 d b c - - d a 0 0 l e _ d b a d o 转 而来到了a d o n e t 阶段。纵观数据库访问技术，数据库的大量应用以及网络的广 泛普及使得微软最新推出的a d o n e t 成为目前最为理想的数据存取方式。而w e b s e r v i c e 作为解决系统异构问题的新一代中问层解决方案，以其所具有的极大的 优势也闩益为人们所重视。 在对a d o n e t 详细阐述之前，有必要对当前仁较为普遍的a d o ( 和其底层的 0 l ei ) b ) 做一下了解。 4 1a 0 0 ( a c t i v e x 数据对象) 4 1 1a d o 概述m 3 为了使用户有为了以统一的方式访问不同的数据源，m i c r o s o f t 公司在 幽4 1a d o 架构 客户 服务提供者 数据提供者 第4 章数据库访问技术( a d o n e t ) 和w e bs e r v i c e 1 9 9 7 年提出了u n i v e r s a ld a t aa c c e s s ( u d a ) 架构。u d a 以c o m 技术为核 心，以o l e d b ( 属于操作系统层次的软件) 为技术的骨架。o l e d b 定义了统 一的c o m 接口作为存取各类异质数据源的标准，并且封装在组c o m 对象之中，也就是 说，o l e _ d b 是一套通过c o m 访问数据的a c t i v e x 接口，这个o l e _ d b 接1 3 相当通用，足以提供一种访问数据的统一手段，而不管存储数据所使用的方法如 何。通过o l e 海量数据、利用更大规模的数据库，使用户得以做出效果更好的预测【4 。 在最高层次中，o l ed b 结构由客户和提供者组成。客户是指任何一些使 用了o l ed b 接1 3 的系统和应用程序的代码，这就包括了o l e d b 组件本身。 提供者是指任何提供o l ed b 接口的软件组件。有两种类型的o l e _ d b 提供者： “数据提供者”和“服务提供者”这两个名称本身可以说明其作用。数据提供者 拥有数据；而服务提供者是指那些o l ed b 组件，它们不拥有数据，但可以通 过利用o l ed b 接1 3 处理数据的方法提供一些服务。总的来说，实际上有许多 不同种类的数据，也有大量不同的方法对这些数据进行访问。然而，大多数开发 人员都懂得利用标准的数据库管理技术来操作数据。o l e d b 定义了一种结构， 进行组件式的数据访问。作为一个组件数据库管理系统，o l ed b 通过把数据库 的功能分为客户和提供者两个方面，提供了比传统数据库更高的效率。因为数据 的使用者通常只要求数据库管理的一部分功能，o l e _ d b 把这些功能分离出来，