数据分析面试题及答案 .pdfVIP

  1. 1、本文档共8页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

数据分析面试题及答案--第1页

数据分析面试题及答案

数据分析面试题及答案

1.问题描述

在大规模数据处理中,常遇到的一类问题是,在海量数据中找出

出现频率最高的前K个数,或者从海量数据中找出最大的前K个数,

这类问题通常称为“topK”问题,如:在有哪些信誉好的足球投注网站引擎中,统计有哪些信誉好的足球投注网站最热

门的10个查询词;在歌曲库中统计下载率最高的前10首歌等等。

2.当前解决方案

针对topk类问题,通常比较好的方案是【分治+trie树/hash+小

顶堆】,即先将数据集按照hash方法分解成多个小数据集,然后使用

trie树或者hash统计每个小数据集中的query词频,之后用小顶堆求

出每个数据集中出频率最高的前K个数,最后在所有topK中求出最

终的topK。

实际上,最优的解决方案应该是最符合实际设计需求的方案,在

实际应用中,可能有足够大的内存,那么直接将数据扔到内存中一次

性处理即可,也可能机器有多个核,这样可以采用多线程处理整个数

据集。

本文针对不同的应用场景,介绍了适合相应应用场景的解决方案。

3.解决方案

3.1单机+单核+足够大内存

设每个查询词平均占8Byte,则10亿个查询词所需的内存大约是

10^9*8=8G内存。如果你有这么大的内存,直接在内存中对查询词进

行排序,顺序遍历找出10个出现频率最大的10个即可。这种方法简

单快速,更加实用。当然,也可以先用HashMap求出每个词出现的

频率,然后求出出现频率最大的10个词。

3.2单机+多核+足够大内存

这时可以直接在内存中实用hash方法将数据划分成n个partition,

每个partition交给一个线程处理,线程的处理逻辑是同3.1节类似,

最后一个线程将结果归并。

数据分析面试题及答案--第1页

数据分析面试题及答案--第2页

该方法存在一个瓶颈会明显影响效率,即数据倾斜,每个线程的

处理速度可能不同,快的线程需要等待慢的线程,最终的处理速度取

决于慢的线程。解决方法是,将数据划分成c*n个partition(c1),

每个线程处理完当前partition后主动取下一个partition继续处理,

直到所有数据处理完毕,最后由一个线程进行归并。

3.3单机+单核+受限内存

这种情况下,需要将原数据文件切割成一个一个小文件,如,采

用hash(x)%M,将原文件中的数据切割成M小文件,如果小文件仍大

于内存大小,继续采用hash的方法对数据文件进行切割,直到每个小

文件小于内存大小,这样,每个文件可放到内存中处理。采用3.1节的

方法依次处理每个小文件。

3.4多机+受限内存

这种情况下,为了合理利用多台机器的资源,可将数据分发到多

台机器上,每台机器采用3.3节中的策略解决本地的数据。可采用

hash+socket方法进行数据分发。

从实际应用的角度考虑,3.1~3.4节的方案并不可行,因为在大规

模数据处理环境下,作业效率并不是首要考虑的问题,算法的扩展性

和容错性才是首要考虑的。算法应该具有良好的扩展性,以便数据量

进一步加大(随着业务的发展,数据量加大是必然的)时,在不修改

算法框架的前提下,可达到近似的线性比;算法应该具有容错性,即

当前某个文件处理失败后,能自动将其交给另外

文档评论(0)

343906985 + 关注
实名认证
文档贡献者

一线教师,有丰富的教学经验

1亿VIP精品文档

相关文档