摘要:网络招聘已经成为现代社会企业招聘人才的主要渠道之一，研究和分析招聘网站发布的职位招聘信息，能够获取良好的职位数据参考价值。随着大数据的发展，应用大数据技术，能够从海量职位招聘信息中，快速准确地提取数据特征，挖掘隐含的知识模式。在企业应用中，构建职位画像是对大量职位数据进行分析挖掘的基础和前提。

本文利用大数据平台系统，采集招聘网站的职位需求信息，并通过大数据处理技术对采集到的信息进行数据清洗、去重、整理和挖掘，生成职位画像数据。最后对职位进行分类研究并生成可视化的报表。该报表能够在培训机构中为领导层提供数据决策支持，协助教学产品研发，同时也能够帮助求职者明确市场需求找准自身定位。

关键词 大数据；招聘网站；网络爬虫；职位画像

目录

摘要

Abstract

1 绪 论-1

1.1 研究背景和意义-1

1.2 国内外研究现状-1

1.2.1 大数据应用研究现状-1

1.2.2 职位画像系统的研究现状-2

1.3 本文的主要研究内容-2

2 基本理论-3

2.1 大数据基本理论-3

2.2.1数据抽取和清洗-3

2.2.1数据查询、分析及建模技术-4

2.2数据挖掘建模-5

2.2.1中文分词-5

2.2.2回归分析-6

2.2.2决策树分类-6

3 职位画像系统设计-9

3.1 需求分析-9

3.2 系统体系架构-9

3.2.1 系统逻辑架构-9

3.2.2 系统数据架构-10

3.3 主要功能模块设计-10

3.3.1 数据采集模块设计-10

3.3.2 数据预处理模块设计-12

3.3.3 职位画像模块设计-14

3.4 数据库设计-17

3.4.1 数据库优化设计-17

3.4.2 数据库逻辑结构设计-17

4 职位画像系统的具体实现-20

4.1 系统开发与运行环境-20

4.2 系统具体实现步骤-20

4.2.1 职位数据采集模块实现-20

4.2.2 职位数据预处理模块实现-22

4.2.3 职位画像模块实现-25

4.3 可视化分析-29

结 论-33

致 谢-34

参考文献-35

附录-36