摘要: 随着我国全面进入工业4.0时代，信息技术的迅速发展，对社会的发展和国民生活产生了重要影响。许多行业都向着互联网方向进行转型。各行业数据的不断增长，促使了海量数据的不断产生，相对传统数据处理技术来说，处理的数据量远超其范畴。传统数据处理架构搭建昂贵扩展性差，海量数据如何处理变得迫在眉睫。

本次设计使用云计算模型Hadoop进行平台的搭建，基于分布式计算模块MapReduce对海量数据进行业务分析处理。本平台分为存储客户端，Hadoop集群，查询客户端三部分。首先存储客户端进行数据的自动采集，将采集数据存储至云平台中，之后采集数据在云平台进行处理，最后将处理完的数据传输至外部数据库进行持久化存储。

海量数据采用MapReduce模型进行分布式处理，本平台可根据数据特性进行业务分析处理，从而提升平台可移植性，提升数据采集效率，提高数据存储容量，做到扩展性好，成本低，高可靠性。

本文围绕Hadoop详细设计并搭建数据采集存储云平台。旨在使用Hadoop模型搭建成本较低，可扩展性强的自动化采集存储海量数据的云平台，并测试云平台的可用性。

 

关键词：海量数据；云计算；MapReduce；分布式计算模型

 

目录

摘要

Abstract

1 绪论-1

1.1课题背景-1

1.2选题意义与目的-1

1.3与本课题有关的国内外研究现状-2

1.3.1大数据处理发展现状-2

1.3.2云计算平台发展现状-2

1.4平台设计思想-2

1.5系统开发环境-3

2 MapReduce模块原理-4

2.1分布式计算-4

2.2 Hadoop框架-4

2.2.1Hadoop特点-4

2.2.2HDFS概述-4

2.2.3MapReduce原理-5

2.2.4虚拟化技术-6

2.2.5Hadoop相关技术-6

3 基于MapReduce的数据采集云平台架构-7

4 数据采集存储平台需求分析与架构设计-9

4.1平台功能概述-9

4.2 平台集群规划-9

4.3 平台存储架构设计-10

5 云平台的模块设计与实现-11

5.1存储客户端-11

5.1.1功能需求-11

5.1.2技术选型-11

5.1.3模块设计-12

5.2Hadoop集群-12

5.2.1集群概要-12

5.2.2平台数据选型-12

5.2.3平台自动化-13

5.3查询客户端-14

5.3.1功能需求-14

5.3.2技术选型-14

5.3.3模块设计-14

6 基于MapReduce云平台虚拟集群的实现-15

6.1平台业务模块设计-15

6.1.1蔬菜大棚模块-15

6.1.2网站访问模块-17

6.2平台业务模块实现-20

6.2.1蔬菜大棚模块实现-20

6.2.2网站访问模块实现-22

6.3云平台的功能测试-23

6.3.1蔬菜大棚模块测试-23

6.3.2网站访问模块测试-25

6.4云平台自动化构建-30

6.4.1云平台采集端自动化实现-30

6.4.2云平台存储处理端自动化实现-33

6.5云平台可以改进的地方-34

6.5.1云平台性能改善-34

6.5.2云平台数据改善-34

结    论-36

参 考 文 献-37

附录A Hadoop集群搭建-38

附录B Hadoop集群测试-46

附录C 云平台MapReduce部分代码-52

致    谢-61