民用建筑"四节一环保"数据的清洗与修复方法研究

针对民用建筑"四节一环保"原始数据中存在的数据质量问题,使用多种方法实现数据清洗与数据修复.数据清洗方面,重点关注单栋建筑能耗数据中存在的相似重复记录及异常记录.其中,识别异常记录采用3σ准则、DBSCAN聚类算法及箱线图内限3种方法.数据修复方面,重点关注缺失值的填补及基于模型的数据修正.其中,缺失值的填充使用简单填充、线性回归模型和基于用户的协同过滤推荐算法,并以平均绝对误差为评估指标进行对比.基于多元线性回归、主成分回归、偏最小二乘回归、岭回归及Lasso回归5种模型,拟合建筑运行能耗与各解释变量间的关系,对上海市建筑运行能耗相关数据进行数据修复.结果 显示,单栋建筑...

Full description

Saved in:
Bibliographic Details
Published in:北京大学学报(自然科学版) Vol. 56; no. 5; pp. 785 - 795
Main Authors: 申鸿怡, 徐芳芳, 王新民
Format: Journal Article
Language:Chinese
Published: 北京大学前沿交叉学科研究院大数据科学研究中心,北京 100871%山东科技大学数学与系统科学学院,青岛 266590%北京大学数学科学学院,北京 100871 20.09.2020
Subjects:
ISSN:0479-8023
Online Access:Get full text
Tags: Add Tag
No Tags, Be the first to tag this record!
Description
Summary:针对民用建筑"四节一环保"原始数据中存在的数据质量问题,使用多种方法实现数据清洗与数据修复.数据清洗方面,重点关注单栋建筑能耗数据中存在的相似重复记录及异常记录.其中,识别异常记录采用3σ准则、DBSCAN聚类算法及箱线图内限3种方法.数据修复方面,重点关注缺失值的填补及基于模型的数据修正.其中,缺失值的填充使用简单填充、线性回归模型和基于用户的协同过滤推荐算法,并以平均绝对误差为评估指标进行对比.基于多元线性回归、主成分回归、偏最小二乘回归、岭回归及Lasso回归5种模型,拟合建筑运行能耗与各解释变量间的关系,对上海市建筑运行能耗相关数据进行数据修复.结果 显示,单栋建筑能耗数据适合采用箱线图内限来识别异常记录,并使用中位数填补缺失数据;上海市建筑运行能耗相关数据中,岭回归模型的拟合情况最好.
ISSN:0479-8023
DOI:10.13209/j.0479-8023.2020.019