数据科学导论.pptxVIP

;课程导引;;;;目标;;;;?课堂实验与其中测试采用线上平台 ?分组题目自选，功能点至少三个，成员上限为3;;;;;认识大数据;;当前我们正处于大数据时代。其典型特征是数据层出不穷，信息快速增长。每时每刻，无线电波、电话、电路和光缆等媒介中的数据川流不息。随时随地，电视的视频信息、微信的语音信息、导航的路况信息等伴随你我。特别地，可视化是推动数字世界急速膨胀的重要力量。 数据呈现新特征：1）增长快；2）多样化；3）自动化；4）非结构化。;;;数据 VS. 信息;;;大数据的概念与特征;大数据的概念与特征;;大数据的技术架构;;;分析各业务部门的需求，明确工业大数据的战略价值。确定大数据项目的目标，进行架构规划;单击此处输入标题文字;收集一则大数据成功应用于实践的案例，并准备5-10分钟的课前演讲。 完成课后习题1、4、8;;;大数据学科与职业;;;专业人才培养方案;大数据课程体系;大数据实践课程;大数据职业道德;大数据职业道德;;;大数据生态系统;;;;并行与分布式处理;June 2021;OpenMP;#include stdio.h #include stdlib.h #include omp.h int?main(int?argc, char* argv[]) { // 编译原语 # pragma omp parallel for for(int i = 0; i 10; ++i) printf(%d\n, i); return 0;;分布式处理;MPI;An example of MPI;OpenCL与CUDA;Hadoop;Hadoop;package org.myorg; import java.io.IOException; import java.util.*; import org.apache.hadoop.fs.Path; import org.apache.hadoop.conf.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; public class WordCount { public static class Map extends MapReduceBase implements MapperLongWritable, Text, Text, IntWritable { private final static IntWritable one = new IntWritable(; private Text word = new Text(); public void map(LongWritable key, Text value, OutputCollectorText, IntWritable output, Reporter reporter) throws IOException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); output.collect(word, one); } } } public static class Reduce extends MapReduceBase implements ReducerText, IntWritable, Text, IntWritable { public void reduce(Text key, IteratorIntWritable values, OutputCollectorText, IntWritable output, Reporter reporter) throws IOException { int sum = while (values.hasNext()) { sum += values.next().get(); } output.collect(key, new IntWritable(sum)); } } public static void main(String[] args) throws Exception {