基于测量的在线视频流媒体质量因素分析毕业论文.doc

基于测量的在线视频流媒体质量因素分析毕业论文 目录 目录 1 第一章 前言 3 1．1 课题研究背景 3 1.2 课题研究内容和本文的主要工作方法 5 1.3 论文组织结构 5 第二章 Spark开发平台概述 6 2.1 Spark的背景 6 2.1.1 Spark的介绍 6 2.1.2 Spark的适用场景 8 2.1.3 在业界的使用 8 2.1.4 Spark与Hadoop对比 8 2.2 RDD框架概述 9 2.2.1 RDD介绍 9 2.2.2 RDD的主要创建方式 9 2.2.3 RDD的特点 10 2.2.4 RDD的好处 10 2.2.5 RDD的存储与分区 10 2.2.6 容错性 10 2.2.7可用性。 10 2.2.8 RDD的内部表示 11 2.3 Local模式和Mesos模式 11 2.4 作用于RDD的各种操作 11 2.5 Spark的编程模型 12 第章 13 3.1 安装Ubuntu Linux操作系统 13 3.2 配置安装Java JDK 13 3.2.1 下载jdk 13 3.2.2 安装jdk 14 3.2.3 配置环境变量 14 3.2.4 检查是否安装成功 14 3.3 搭建Hadoop环境 15 3.3.1 下载安装Hadoop 15 3.3.2 配置hadoop 15 3.3.3 安装rsync和ssh 16 3.3.4 配置ssh免登录 16 3.3.5 启动hadoop 17 3.4 安装Scala 18 3.5 部署Spark 20 3.5.1 下载spark-1.0.0源码 20 3.5.2 解压编译 20 3.5.3 设置SPARK_HOME环境变量 20 3.5.4 验证spark环境 21 第四章 机器学习算法模型 22 4.1 聚类分析 23 4.2 K-means algorithm 23 4.2.1 算法描述 24 4.2.2 算法的性能分析 24 第五章 实验处理与实验分析 25 5.1 预处理待测量的数据集 26 5.2 待测量数据集的条数 26 5.3 运用KMeans算法 27 5.3.1 下载NumPy 27 5.3.2 Kmeans算法的python代码 28 5.3.3 在Spark中运行 29 5.4 聚类效果及分析 30 5.4.1 Kmeans中k值的选取 30 5.4.2 本次实验结果分析 32 5.5 结论 33 第六章 结束语 34 参考文献 34 36 第一章 前言 1．1 课题研究背景 流媒体(Video Streaming)是指在Internet中使用流式传输技术的连续时基媒体，视频流媒体(Media Streaming)业务是指支持多媒体数据流通过网络从服务器向客户机传送，接收方边接收边播放的技术。与传统的先下载后播放的做法相比，流媒体技术有很大的优势，如实时性强，有利于保护版权等。随着计算机网络和多媒体技术的不断发展，流媒体直播技术的应用越来越广泛，传统的Flash早已被视频流媒体所取代。近年来，无线网络的飞速发展和带宽的迅速提高，为流媒体技术在无线网络中的应用奠定了坚实的基础。 在流媒体的背后进行着的是对大数据的挖掘，数据挖掘一般是指从大量的数据中通过算法有哪些信誉好的足球投注网站隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法来实现上述目标。 大数据，一个似乎已经被媒体传播的过于泛滥的词汇，的的确确又在逐渐影响和改变着我们的生活。也许有人认为大数据在中国仍然只是噱头，但在当前中国互联网领域，大数据以及大数据所催生出来的生产力正在潜移默化地推动业务发展，并为广大中国网民提供更加优秀的服务。 提到大数据，自然不能不提Hadoop[1]。HDFS已然成为大数据公认的存储，而MapReduce作为其搭配的数据处理框架在大数据发展的早期表现出了重大的价值。可由于其设计上的约束MapReduce只适合处理离线计算，其在实时性上仍有较大的不足，随着业务的发展，业界对实时性和准确性有更多的需求，很明显单纯依靠MapReduce框架已经不能满足业务的需求了。Hadoop中的数据传送与共享，串行方式、复制以及磁盘IO等因素使得Hadoop集群在低延迟、实时计算方面表现有待改进。 优酷土豆作为国内最大的视频网站，和国内其他互联网巨头一样，率先看到大数据对公司业务的价值，早在2009年就开始使用Hadoop集群，随着这些年业务迅猛发展，优酷土豆又率先尝试了仍处于大数据前沿领域的Spark内存计算框架，很好地解决了机器学习和图计算多次迭代的瓶颈问题，使得公司大数据