大数据导论第2章 大数据技术基础.pptx

数据中国“百校工程”项目系列教材数据科学与大数据技术专业系列规划教材大数据导论BIG DATATechnology孟宪伟 许桂秋 主编 万世明 檀大耀 梁烽 董国忠 孟剑 副主编第2章 大数据技术基础 本章主要内容如下。（1）计算机操作系统。（2）编程语言。（3）数据库。（4）算法。（5）大数据系统。（6）大数据应用开发流程。2.1 计算机操作系统 本章首先介绍计算机操作系统，帮助读者建立对大数据技术基础的整体印象。2.1.1 什么是操作系统 操作系统（Operating System，OS）实际是一整套程序的组合体，这套程序的主要任务是管理计算机的所有活动和驱动计算机的整体硬件。计算机硬件包括输入单元（主要指键盘和鼠标等）、输出单元（显示器、音响等）、CPU和主存储器等主要部分。 操作系统可以统筹协调计算机硬件系统的工作，具体就是通过操作系统的工作使CPU可以进行逻辑与数值运算，主存储器能够加载应用数据与程序代码，硬盘可以顺利存入与读出信息，输入设备、输出设备可以根据需要实时写入、写出必要信息等。因此，操作系统实际是整个计算机硬件系统的“CEO”，担负着整个计算机硬件系统的管理、协调和运作的全部任务。1．系统呼叫接口2．程序管理3．内存管理4．文件系统管理5．硬件装置的驱动 2.1.2 Linux操作系统 Linux系统基本经历了3个发展阶段。1．单一个人维护阶段2．广大黑客志愿者加入阶段3．Linux核心的细分工、快速发展阶段图2-1 Linux核心版本编号注解 Linux的核心版本编号如图2-1所示，自3.0以后的版本都遵循统一的编码标准，并且基本上后续的版本都是在前序版本的基础上经过完善后再开发出来的。 Linux的核心版本是Linux Kernel的版本，此外还有Linux Distribution，两者的关系如图2-2所示。 Linux Distribution是专门为使用者量身打造的Linux Kernel + Software + Tools的可安全安装程序的综合发布版本，可帮助日常使用者在Linux系统下完成工作和其他相关任务。图2-2 Linux Kernel与Linux Distribution 目前Linux Distribution主要分为两大系统：一种是使用RPM（Red-Hat Package Manager）方式安装软件的系统，主要包括RHEL、SuSE、Fedora等；另一种是使用Debian的DPKG方式安装软件的系统，包括Ubuntu、Debian、B2D等。具体的主要版本如表2-1所示。表2-1 Linux Distribution主要版本机构RPM软件管理DPKG软件管理其他未分类商业公司RHEL（Red Hat）SuSE（Micro Focus）Ubuntu（Canonical） 社区单位FedoraCentOSOpenSuSEDebianB2DGentoo 目前Linux的主要应用场景如下。（1）企业环境的应用，主要包括网络服务器（目前最热门的应用）、关键任务的应用（金融数据库、大型企业网管环境）、学术机构的高效能运算任务等。（2）个人环境的使用，主要包括桌面计算机系统（实现和Windows系统一样的桌面操作系统）、手持系统（PDA、手机端系统如Android）、嵌入式系统（包括路由器、防火墙、IP分享器、交换机等）。（3）云端的运用，主要包括云程序（云端虚拟机资源）、云端设备等。2.2 编 程 语 言 语言可以使人们以更加规范、方便和快捷的方式进行交流。自然语言的作用显然是使人们更加高效地交流不同的思想和文化，编程语言则是为了实现人与计算机之间的交流而设计的语言。 随着计算机技术的不断发展和完善，编程语言已经得到了长足的发展，并被广泛地应用于实际，已经成为人们与计算机进行深入“交流”的必需工具。2.2.1 编程语言的发展与种类 随着电气革命的深入，人们终于在?20?世纪40年代制造出了可以用于实际计算的晶体管计算机。这时候的计算机体积相当大，同时能耗巨大。伴随着晶体管计算机的诞生，人们也编写了第一种真正意义上的编程语言，这就是机器语言。 对普通人来说，机器语言基本就是“天书”，因为它完全是用0和1的机器代码来写成的，然后被光电阅读机记录在穿孔卡片上，作为晶体管计算机的读入/读出数据，如图2-3所示。图2-3 记录在穿孔卡片上的机器语言 机器语言太难理解和书写，且极易出错，汇编语言（Assembly Language）就应运而生。实际上汇编语言是使用助记符（Mnemonics）来代替机器指令的操作码（0和1的指令集），用标号（Label）和地址符号（Symbol）分别来代替机器指令或者操作数值的存储地址，其大体的工作原理如图?2-4?所示。机器语言和汇编语言统称