标题：基于大数据技术的大学生就业技能需求分析系统
作者：李海波 张睿 张志明 刘轶韬
作者单位：江苏开放大学信息工程学院，江苏 南京 210017
关键字：网络招聘；就业技能；Scrapy爬虫；Hadoop分布式集群；数据分析；数据可视化
摘要：针对大学生很难从海量网络招聘信息中获取有价值的就业技能信息问题，设计并实现了一种基于大数据技术的大学生就业技能需求分析系统。使用Scrapy爬虫框架采集职位信息，存储于Hadoop分布式集群，使用MapReduce程序进行处理，利用Hive从招聘职位的多个维度进行提炼和分析，最后将结果进行可视化展示。实践表明，该系统能够帮助大学生更有针对性地学习就业所需技能，为职位规划提供更有效的决策。