Matlab大规模数据处理(官方教程).pdf

® MATLAB 大规模数据处理技巧 陈炜，博士 David.chen@ MathWorks China © 2013 MathWorks, Inc. 1 大数据处理的问题  “Out of memory” – 内存耗尽  “处理速度太慢了” – 数据太大导致系统无法有效使用内 存和虚拟内存 2 大纲  可用系统内存  MATLAB 内存使用技巧  大数据集合的处理技术 3 内存和操作系统  32-bit 操作系统 寻址空间 – 4GB 可寻址内存 – 扣除系统保留地址空间，实际MATLAB 可用内存空间 4GB  64-bit 操作系统 操作系统保留 – 理论上可以寻址18 艾（1018）字节 应用程序 地址空间 – 取决于操作系统和处理器 – 实际上受限于实际的物理内存和磁盘的大 小  如果可能，请使用64-bit 操作系统 4 系统内存  系统内存= 物理内存+磁盘空间（交换分 区/页面文件）  虚拟内存 – 进程看到的是连续的内存块 RAM – 内存空间分为物理内存空间和磁盘空间（交 换分区/页面文件） – 操作系统把虚拟地址映射到物理地址中  通用方法： 虚拟内存 – 增加物理内存，或者增加交换分区/页面文件(per process) Disk – 如果计算机发生颠簸（thrashing ），考虑其 他的方法 5 大纲  可用系统内存  MATLAB 内存使用技巧  大数据集合的处理技术 6 MATLAB的内存管理 MATLAB 地址空间  预分配数组 – 优先分配大矩阵 x1 = zeros(25,1) x4 = zeros(100,1)  清除不用的变量 x2