标题：基于关联规则的大数据领域人才需求分析
作者：黄山 刘学锋 毛建华 李银桥
作者单位：上海大学通信与信息工程学院，上海 200444
关键字：数据挖掘，网络爬虫，文本预处理，关联规则
摘要： 随着数据分析与数据挖掘行业的兴起，职场中涌现出许多与大数据相关的职位。为了深入分析与预测大数据领域人才的需求现状以及未来的发展趋势，基于Python的Scrapy框架设计网络爬虫程序，对招聘网站发布的招聘信息进行采集和预处理，通过构建与大数据相关的新兴职业类型词典，并把关联规则挖掘算法应用到大数据领域人才招聘信息的挖掘中去，从地域特征、学历特征、技能特征、企业规模和性质、薪资水平等多个角度对大数据领域人才需求进行分析。研究表明，通过基于Apriori的关联规则算法对网络招聘信息的挖掘，能够有效实现大数据领域人才的需求分析与预测。