- 1、本文档共11页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
数
据
科
学
导
论
普通高等教育人工智能与大数据系列
大数据学科与职业
目录
CONTENTS
一种由有哪些信誉好的足球投注网站引擎根据网页之间相互的超链接来计算排名的算法。受这个算法的启示,著名的网络爬虫算法不仅限于对网页的分析,而是扩展到了超链接、URL队列、页面数据库,其收集的数据也由普通的网页排名扩展到了各种非结构化数据。
MapReduce的提出主要是为了解决谷歌所保存的网页数量过多这个问题的。谷歌服务器上保存的原始网页数量多,占用空间大,急需一种分布式并行计算框架对这些数据进行分析和处理。MapReduce在这种前提下应运而生。
GFS由Google公司首创及推广,适合于海量数据在大规模服务器集群上的分布式存储。其主要特点是对机器要求不高,可以分布在廉价机器上,且能灵活分割文件尺寸,并能通过多副本来提供容错机制。
Hadoop不是一个产品,而是多个软件产品组成的生态系统,这些软件共同实现全面的数据采集,分析,储存等功能。从技术上来看,其由两项关键业务组成:Hadoop分布式文件系统,以及高性能并行数据处理算法MapReduce。
一般来讲,大数据的概念源于美国,是由思科、威睿、甲骨文、IBM等公司联合提出的。
CDA(数据分析师认证)是一项大数据资质水平认证考试,由经管之家(原人大经济论坛)主办,在国内具有较大影响。CDA认证分为四个类别,即业务数据分析师、建模分析师、大数据分析师和数据科学家。
Level
CDA证书
考点
I
业务数据分析师
数据分析概述与统计学基础、数据库基础、数据采集与处理等
II
建模分析师
数据挖掘基础理论、数据预处理、预测型数据挖掘模型等
II
大数据分析师
大数据基础理论、Hadoop理论、数据库理论及工具等
III
数据科学家
计算机科学与技术、大数据处理与架构设计、机器学习等
A类:突出平台理解和规划,学生掌握其中的知识点后可以胜任数据工程师的工作。
B类:突出数据和实践结合,强调学生应用大数据的知识体系解决现实中的问题。学生掌握之后,不仅可以从事纯数据的处理工作,也可以进入金融,商业,互联网等相关领域,从事其中和数据分析相关的工作。
C类:结合企业的需要和大数据平台的优势,突出数据可视化,商业智能等大数据分析等特点。学生掌握这方面技能之后,会更深入的理解数据的本质,从而在日常工作中用大数据更好地进行表达。
D类:则强调数据管理和运维,对数据存储,数据安全等领域进行更深层次的探讨。
个人隐私保护、网络爬虫协议、开源软件使用规范等
软件开发者道德规范
工程师道德规范
1
始终关注公众利益,按照与公众的安全、健康、幸福一致的方式发挥作用
始终以公众健康、安全和财产为出发点,及时公布可能危害公众的要素
2
提高职业正直性和声誉
发表声明或评估时,诚实、不浮夸
3
确保软件对公众,客户及用户有益,质量可接受,按时完成且价格合理
正确评价他人的贡献
4
保持数据的安全和正确;离开工作时,不应带走任何公司的财产,不应将项目告知他人
提高对技术,应用及各种潜在后果的理解
软件行业道德规范
大数据行业法律法规
名称
颁布时间
侧重内容
1
贵阳市大数据安全管理条例
2018年10月
数据安全
数据审计
2
个人信息安全规范
2017年12月
个人隐私保护
公众利益保护
3
大数据服务安全能力要求
2018年7月
公司从业资质
数据服务安全
4
大数据安全管理指南
2017年5月
数据管理安全
数据平台安全
感
谢
聆
听
您可能关注的文档
- 数据科学导论教学课件(共8章)-第0章课程导引.pptx
- 数据科学导论教学课件(共8章)-第1章认识大数据.pptx
- 数据科学导论教学课件(共8章)-第3章大数据生态系统.pptx
- 数据科学导论教学课件(共8章)-第4章大数据采集与预处理.pptx
- 数据科学导论教学课件(共8章)-第5章大数据存储.pptx
- 数据科学导论教学课件(共8章)-第6章大数据分析.pptx
- 数据科学导论教学课件(共8章)-第7章大数据可视化.pptx
- 中药化学全套教学课件.pptx
- 《无人机测绘技术》全套教学课件.pptx
- 二年级语文上册第1_8单元测试卷汇总精品新人教版.docx
- 2024精简护肤洁面趋势报告-TMIC-30正式版.doc
- 2024捕捉华夏民族珍味-咸味主食与咸味零食创新机遇报告-25正式版.doc
- 2024年秋季部编版小学道德与法治二年级上册全册课件PPT必威体育精装版.pptx
- 部编版第十一册第四单元拓展提高教学课件.ppt
- 2024年秋季新西师大版一年级上册数学全册教学课件(新版教材).pptx
- 2024年秋新人教版一年级上册数学全册教学课件(新版教材).pptx
- 2024年秋季新人教版数学一年级上册全册教学课件(新版教材).pptx
- 2024年秋季新人教版数学一年级上册全册课件(新版教材).pptx
- 2024年秋季新人教版一年级上册数学全册教学课件(新版教材).pptx
- 2024年秋季新人教版一年级上册数学全册课件(新版教材).pptx
文档评论(0)