北京理工大学（柴成亮）：面向数据湖的数据准备.pdf

基于数据湖的数据准备

演讲人：柴成亮

单位：北京理工大学

目录

CONTENTS▶背景、研究意义与挑战

任务感知的相关数据发现

人机协作的数据准备策略

数据高效的模型效率优化

背景介绍：数据湖(DataLake)

●基本概念：数据湖是一种在存储系统中以自然格式存储数据的方法,对企

业中的所有原始数据进行统一存储，用于报告、可视化、数据科学和机器

学习等各种任务。

数据仓库数据湖

数据格式专有格式开放格式

结构化、半结构

数据类型主要是结构化数据

化和非结构化

DataPrep.数据质量高质量低质量

性能高低

扩展性高扩展性高扩展性低成本

场景支持BI/SQLDI/SQL/DS/ML

背景介绍：数据准备(DataPreparation)

●数据准备：多源异质数据的发现、融合、清洗与标注，以便进行精准的

数据分析

Forbes:Datascientistsspendaround

80%oftheirtimeonpreparingand

managingdataforanalysis.

“为了进行数据分析，数据科学家通常“推动大数据采集、清洗、存储…等技

要花费80%的精力来准备数据”术创新，培育数据采集、标注、存储…

等全生命周期产业体系”

MichaelStonebraker:Data

scientistsspendmorethan90%time

ondatadiscovery,datacleaningand

integrationbeforeanalysis.

“数据科学家通常在数据发现、清洗与“促进社会事业数据融合和资源整合，

融合上花费超过90%的精力”将极大提升政府整体数据分析能力”

挑战

数据杂强相关数据难发现

数据脏高质量数据难获取