- 1、本文档共66页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 大数据技术:在海量、无序的数据中 洞察规律,发现价值! 数据的价值不在于数据本身 在于数据之间的关联关系 2008年9月美国《自然》杂志刊登了一个名为“Big Data”的专辑,首次提出大数据(Big Data)概念。 大数据,或称巨量资料,是指由数量巨大、结构复杂、类型众多的数据所构成的数据集合,必须通过特殊化处理分析才能形成有规律、可预测的信息服务能力。 4V 特征 数据类型繁多 Variety V 数据体量巨大 Volume V 处理速度快Velocity V 价值密度低 Value v 大数据类型分为结构化数据和非结构化数据,结构化数据是指用数据或统一的结构加以表示,如数字、符号;非结构化数据是指无法用数字或统一的结构表示,如文本、图像、声音、网页、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。 价值密度低(Value) 浪里淘沙又弥足珍贵。一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。 如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。 案例1:互联网金融 利用掌握的大数据和大数据技术,为中小企业提供贷款服务 从提出申请,到商户收到贷款,整个过程最快只需三分钟 累计贷款总额260亿,单日利息收入100万,坏账率仅千份之三 商品供应商 (企业和个人) 商品购买者 (企业和个人) 资金流 资金流 云计算平台 信息流 交易 信息 信息流 网络数据模型 在线视频 调查模式 交叉检验技术 (辅以第三方验证) 客户信用水平和还款能力评估报告和结果 交易 信息 发放 贷款 信息流 监控客户现金流 各渠道信息和调研获得的客户信用记录、交易状况、投诉情况 海量的客户和交易数据赋予了阿里巴巴掌握客户信息及其交易行为的强大的优势 案例2:360反欺诈应用 360互联网安全中心通过1亿设备,6.49亿网名,累计监测到网民个人信息多大11.2亿条,内容包括姓名、电话、上网账户、银行卡密、身份证号码等多种用户隐身信息,在GIS地图上生产了中国网络骗子地图。 360通过手机卫士为用户提供骚扰电话拦截服务,识别出骚扰电话中“响一声”最多,占到了总量一半,每天上午10点骚扰电话最猖獗,周一是骚扰电话也要“休息”,统计出骚扰电话分布图。 中国网络骗子地图 2014年骚扰电话分布 安全生产大数据:企业安全生产、政府安全监管、社会个人参与以及与此关联的经济活动全过程所形成的文本、音频、视频、图片等海量信息的集合。当下还处于大数据的初级阶段。 安全生产大数据概念 监管机构 企业 个人 中介机构 安委会成员单位 来源对象 数据内容 调查报告 视频动态信息 安全管理动态信息 安全管理静态信息 生产图纸信息 事故信息 大安全 大数据 大监管 互联网 真实性:安全生产大数据是在依法行政的许可下采集的,任何被采集对象有义务如实地填报各项数据,因此数据要求是真实准确的,并具有法律效用。 原始性:安全生产大数据不论是一次采集还是多次采集,均直接来源于政府、企业或个人,都是最为原始可靠的数据采集。 完整性:监管机构为了完成一项或几项工作开展数据采集工作,必须努力保证所采集数据对于该项工作的完成是完整的。 公正性:安全生产大数据采集所涉及到的组织或个人,都必须履行义务接受采集,任何组织或个人不可以随意拒绝。 安全生产大数据具有“七性” 可持续性:安全生产大数据可以根据业务需要定时、定期采集,如安全生产诚信信息等。也可以根据需要经授权后随时获取,确保业务的持续性。 可处理性:安全生产大数据是安监机构为了履行行政职能而采集的,数据的内在关系是明确的,数据结构是合理的,是可以和便于机器自动处理的。 可开放性:安全生产大数据是安监机构在依法行政下获取的,在确保国家安全、组织或个人的隐私与利益不受侵害的前提下,可以依法开放。任何机构、组织或个人也有权向相关部门提出获得和使用数据的申请。 安全生产大数据要具有“七性” 安全生产大数据 当前的安全生产数据是大数据吗? 当前数据概况 大数据概况 数据来源,主要采取的是人工录入,较少采取物联网等传感器自动抓去的信息。 大数据是永远在线的,数据来源非常广泛,主要是UGC(用户产生内容),机器抓取数据、用户行为数据、移动互联网数据、车联网和物联网等传感数据。 数据类型,主要是以结构性数据为主,语音、视频、图片等非结构性数据相对较少。 大数据更多是依赖于非结构性数据而生存,当前占据互联网90%以上的数据是图片、语音和视频等。 数据价值,主要是用于年度、季度和月度的统计分
文档评论(0)