10个Hadoop的应用场景10个Hadoop的应用场景.docx

zookeeper 3.4.2集群安装?10个Hadoop的应用场景2012-07-10 16:07:02来源：CIO时代网 TechTarget中国762网友评论 0 条摘要：本文介绍了10个Hadoop的应用场景，其实Hadoop的应用场景远不止广告数据分析和有哪些信誉好的足球投注网站引擎，深入挖掘的话你会发现Hadoop能够在许多地方发挥巨大的作用。关键词：Hadoop谁在用Hadoop这是个问题。在大数据背景下，Apache Hadoop已经逐渐成为一种标签性，业界对于这一开源分布式技术的了解也在不断加深。但谁才是Hadoop的最大用户呢？首先想到的当然是它的“发源地”,像Google这样的大型互联网有哪些信誉好的足球投注网站引擎，以及Yahoo专门的广告分析系统。也许你会认为，Hadoop平台发挥作用的领域是互联网行业，用来改善分析性能并提高扩展性。其实Hadoop的应用场景远不止这一点，深入挖掘的话你会发现Hadoop能够在许多地方发挥巨大的作用。美国着名科技博客GigaOM的专栏作家Derrick Harris跟踪云计算和Hadoop技术已有多年时间，他也在最近的一篇文章中总结了10个Hadoop的应用场景，下面分享给大家：在线旅游：你知道吗，目前全球范围内80%的在线旅游网站都是在使用Cloudera公司提供的Hadoop发行版，其中SearchBI网站曾经报道过的Expedia也在其中。移动数据：Cloudera运营总监称，美国有70%的智能手机数据服务背后都是由Hadoop来支撑的，也就是说，包括数据的存储以及无线运营商的数据处理等，都是在利用Hadoop技术。电子商务：这一场景应该是非常确定的，eBay就是最大的实践者之一。国内的电商在Hadoop技术上也是储备颇为雄厚的。能源开采：美国Chevron公司是全美第二大石油公司，他们的IT部门主管介绍了Chevron使用Hadoop的经验，他们利用Hadoop进行数据的收集和处理，其中这些数据是海洋的地震数据，以便于他们找到油矿的位置。节能：另外一家能源服务商Opower也在使用Hadoop,为消费者提供节约电费的服务，其中对用户电费单进行了预测分析。基础架构管理：这是一个非常基础的应用场景，用户可以用Hadoop从服务器、交换机以及其他的设备中收集并分析数据。图像处理：创业公司Skybox Imaging 使用Hadoop来存储并处理图片数据，从卫星中拍摄的高清图像中探测地理变化。诈骗检测：这个场景用户接触的比较少，一般金融服务或者政府机构会用到。利用Hadoop来存储所有的客户交易数据，包括一些非结构化的数据，能够帮助机构发现客户的异常活动，预防欺诈行为。IT安全：除企业IT基础机构的管理之外，Hadoop还可以用来处理机器生成数据以便甄别来自恶意软件或者网络中的攻击。医疗保健：医疗行业也会用到Hadoop,像IBM的Watson就会使用Hadoop集群作为其服务的基础，包括语义分析等高级分析技术等。医疗机构可以利用语义分析为患者提供医护人员，并协助医生更好地为患者进行诊断。??集群安装?1．安装JDK。下载地址：/javase/downloads/index.jsp????设置JAVA_HOME?,将$JAVA_HOME/bin?加到PATH变量里。2．下载Zookeeper?地址：/zookeeper/releases.html?解压到相应目录。3．创建配置文件。conf/zoo.cfg?内容例如：#tickTime：这个时间是作为?Zookeeper?服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个?tickTime?毫秒时间就会发送一个心跳。?tickTime=2000?#dataDir：Zookeeper?保存数据的目录，默认情况下，Zookeeper?将写数据的日志文件也保存在这个目录里。?dataDir=/tmp/zookeeper/data?#dataLogDir:日志文件保存的位置?dataLogDir=/tmp/zookeeper/log?#clientPort：这个端口就是客户端连接?Zookeeper?服务器的端口，Zookeeper?会监听这个端口，接受客户端的访问请求。?clientPort=2181?#initLimit：这个配置项是用来配置?Zookeeper?接受客户端（这里所说的客户端不是用户连接?Zookeeper?服务器的客户端，而是?Zookeeper?服务器集群中连接到?Leader?的?Follower?服务器）初始化连接时最长能忍受多少个心跳时间间隔数。#当已经超过?10?个心跳的时间（也就是?tickTime）长度后?Zookeeper?服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是?10*2000=20