一、大数据处理模式 在电子商务领域内,信息的大批量处理如果是以PB、EB、ZB为计量单位,则这些信息就构成了大数据。以往的计算机处理模式已经很难对这些大数据进行高效率的处理,势必会影响电子商务的总体发展。因此对大数据时代的计算机处理模式进行革新是获得电商行业整体突破的基本保证。
重庆工商代办传统的数据处理模式是数据库集群模式,大数据处理模式的基本要求是建构云计算Map Reduce处理体系,使信息的分解处理和结果合并成为可能?! ?br />
(一)数据库集群模式 集群模式的基本运行原理是将同一种应用程序通过不同的工作方法相互协调共同完成,在面对客户端的数据请求时,为其提供单一映像,并将这些映像通过一定的连接技术和方法与硬件系统进行连接,整体上建构一个松散耦合的集合。简单来说,数据库集群模式实现了数据库技术和集群技术的结合。数据库集群模式的运行较为平稳,具有多方面的技术优势,例如强大的靠扩展性、整体的可靠性等等。
但是在面对大数据处理时,数据库集群也表现出了一定的缺陷。这些缺陷主要包含以下方面:第一是可扩展性补不强。如果系统功能节点的硬件基础设施选择的是Pc服务器,那么将会出现系统线缆繁杂、硬件高度复杂化和架设安装难度大等问题,对其扩展性造成了一定的限制;第二是数据通信受限。目前运行高速互联网的必备条件是将PCI插槽与主机进行连接。但是PCI的数据传送能力有限,不能满足节点间的数据通信要求;第三是提升空间小。这种空间主要是指数据库数据集的可扩展空间,在进行数据处理时如何解决系统的安全性、运算速度和可扩展性是数据库集群模式要面对的重要问题。此外,数据库集群模式还存在兼容性、可靠性、容错性、对异质条件支持能力等方面的局限性。
(二)Map Reduce框架 云计算构架主要是由低端服务器进行大规模集群构成的数据处理技术,在数据存储容量和数据处理能力上具有绝对的优势。由于云计算平台在运行中的可靠性和可扩展性等功能,目前众多的大型企业或单位都将其作为web搜索和大数据分析的主要平台,如中国移动、淘宝、网易、百度等等。Map Reduce框架主要包含三个方面的内容,即并行编程模型Map Reduce、分布式文件系统(HDFs)、并行执行引擎。