数据分析师必备的基本统计学知识.pdfVIP

数数据据分分析析师师必必备备的的基基本本统统计计学学知知识识

数据分析师，⽆疑是数据时代最耀眼的职业之⼀，统计学，⼜是数据分析师必备的基础知识。

知识汇总：

1.集中趋势(CentralTendency)

2.变异性(Variability)

3.归⼀化(Standardizing)

4.正态分布(NormalDistributions)

5.抽样分布(SamplingDistributions)

6.估计(Estimation)

7.假设检验(Hypothesistesting)

8.T检验(T-test)

01集中趋势(CentralTendency)

1.众数

出现频率最⾼的数；

2.中位数

把样本值排序，分布在最中间的值；

样本总数为奇数时，中位数为第(n+1)/2个值；

样本总数为偶数时，中位数是第n/2个，第(n/2)+1个值的平均数；

3.平均数

所有数的总和除以样本数量；

⼩结：

现在⼤家接触最多的概念应该是平均数，但有时候，平均数会因为某些极值(Outlier)的出现收到很⼤影响；

举个⼩例⼦，你们班有20⼈，⼤家收⼊差不多，19⼈都是5000左右，但是有1个同学创业成功了，年⼊1个亿，这时候统计你们班同学收⼊

的“平均数”就是500万了，这也很好的解释了，每年各地的平均收⼊数据出炉，⼩伙伴们直呼给祖国拖后腿了，那是因为⼤家收⼊被平均了，此

时，“中位数”更能合理的反映真实的情况；

02变异性（Variability）

1.四分位数

上⾯说到了“中位数”，把样本分成了2部分，再找个这2部分各⾃的“中位数”，也就把样本分为了4个部分，其中1/4处的值记为Q1，2/4处的

值记为Q2，3/4处的值记为Q3

2.四分位距IQR=Q3-Q1

箱线图

3.异常值（Outlier）：⼩于Q1-1.5(IQR)或者⼤于Q3+1.5(IQR);对于异常值，我们在处理时需要剔除；

4.⽅差(Variance)

⽅差计算公式

5.平⽅偏差(StandardDeviation)⽅差的算术平⽅根

6.贝塞尔矫正：修正样本⽅差

问：为什么要⽤贝塞尔矫正？

实际在计算⽅差时，分母要⽤n-1，⽽不是样本数量n，原因如下

贝塞尔矫正

03归⼀化(Standardizing)

1.标准分数(Z-score)

⼀个给定分数距离平均数多少个标准差？

标准分数是⼀种可以看出某分数在分布中相对位置的⽅法。

标准分数能够真实的反映⼀个分数距离平均数的相对标准距离。

归⼀化处理

04正态分布(NormalDistributions)

1.定义：

随机变量X服从⼀个数学期望为μ，⽅差为σ⊃2;的正态分布，记为N(μ,σ⊃2;)

随机取⼀个样本，有68.3%的概率位于距离均值μ有1个标准差σ内；

有95.4%的概率位于距离均值μ有2个标准差σ内；

有99.7%的概率位于距离均值μ有3个标准差σ内；

正态分布

05抽样分布(SamplingDistributions)

1.中⼼极限定理(CentralLimitTheorem)

设从均值为μ，⽅差为σ⊃2;的任意⼀个总体中抽取样本量为n的样本，当n充分⼤时，样本均值的抽样分布近似服从均值为μ、⽅差为σ⊃2;/n的

正态分布

2.抽样分布(SamplingDistributions)

设总体共有N个元素，从中随机抽取⼀个容量为n的样本，在重置抽样时，共有N·n种抽法，即可以组成N·n不同的样本，在不重复抽样时，共

有N·n个可能的样本。每⼀个样本都可以计算出⼀个均值，这些所有可能的抽样均值形成的分布就是样本均值的分布。

但现实中不可能将所有的样本都抽取出来，因此，样本均值的概率分布实际上是⼀种理论分布。数理统计学的相关定理已经证明：在重置抽样时，

样本均值的⽅差为总体⽅差的1/n

例⼦：

48盆MM⾖，计算出每盆有⼏个蓝⾊的M