标题:计量自动化系统分布式计算和大数据分析技术研究 作者:蔡乾乾 孙勇 阙华坤 冯小峰 黄盛 周东旭 作者单位:广东电网有限责任公司计量中心,广东 广州 510000 关键字:计量自动化系统;Spark;Hbase数据库;大数据分析 摘要:广东电网省级集中计量自动化系统电能量数据采集范围已覆盖全省4000万以上低压用户,成为超大规模系统,在数据采集、处理、计算、分析等方面,系统将面临巨大的压力。为了提高计量自动化系统电能量数据处理水平,保障业务正常开展,提出一种基于Spark分布式计算框架和Hbase数据库的分布式计算和存储架构,实现海量数据并发入库,提升大数据分析服务能力,更好地支撑计量系统电量分析、负荷计算、停电时间统计、电量质量计算等业务应用。 |