数据分析师-数据分析师基础-统计学基础_卡方检验与非参数检验.docx

PAGE1

PAGE1

统计学基础概览

1基本统计概念

1.1什么是统计学？

统计学是一门关于收集、分析、解释、展示和组织数据的学科。在现代社会，统计学被广泛应用于各种领域，包括科学、工业、商业和政府等，以帮助决策者做出基于数据的决策。

1.2统计学的两个主要分支

描述统计学：描述统计学关注于数据的总结和描述，包括使用图表和数字来概括数据集的特征。例如，平均数、中位数、众数、标准差和相关系数等都是描述统计学中的重要概念。

推断统计学：推断统计学则更进一步，利用样本数据来推断总体的特征。它包括了假设检验、置信区间估计、回归分析等方法，这些方法可以帮助我们理解样本数据是否能代表总体，以及总体参数的可能值。

1.3统计学中的重要概念

总体（Population）：统计学研究的目标群体，包含所有感兴趣的数据或个体。

样本（Sample）：从总体中抽取的一部分数据，用于代表总体进行分析。

参数（Parameter）：描述总体特征的数值，如总体平均数。

统计量（Statistic）：基于样本数据计算出的数值，用于估计参数或进行假设检验，如样本平均数。

1.4示例：计算样本平均数

假设我们有一组数据，代表了某班级学生的数学成绩：

#Python代码示例

scores=[85,90,78,92,88,76,95,89,82,80]

#计算平均数

average_score=sum(scores)/len(scores)

print(样本平均数:,average_score)

在这个例子中，scores列表是样本，average_score是统计量，用于估计班级学生数学成绩的总体平均数。

2数据类型与分布

2.1数据类型

在统计学中，数据通常被分为两大类：-定量数据（QuantitativeData）：可以进行数学运算的数据，如身高、体重、温度等。定量数据又可以进一步分为连续型和离散型。-定性数据（QualitativeData）：描述性质或类别的数据，如颜色、性别、品牌等。定性数据通常分为名义型和顺序型。

2.2数据分布

数据分布描述了数据在数值范围内的分布情况，包括数据的集中趋势和离散程度。常见的数据分布有：-正态分布（NormalDistribution）：也称为高斯分布，是一种连续概率分布，其图形呈钟形曲线。-二项分布（BinomialDistribution）：描述在固定次数的独立伯努利试验中，成功次数的概率分布。-泊松分布（PoissonDistribution）：描述在一定时间内或一定区域内，事件发生次数的概率分布。

2.3示例：生成并可视化正态分布数据

使用Python的numpy和matplotlib库，我们可以生成并可视化正态分布的数据：

importnumpyasnp

importmatplotlib.pyplotasplt

#生成正态分布数据

mu,sigma=100,15#均值和标准差

x=mu+sigma*np.random.randn(10000)

#绘制直方图

plt.hist(x,bins=50,density=True)

plt.title(正态分布数据)

plt.xlabel(值)

plt.ylabel(频率)

plt.show()

在这个例子中，我们生成了10000个服从均值为100，标准差为15的正态分布的随机数，并使用直方图来展示数据的分布情况。

2.4数据分布的重要性

理解数据的分布对于选择正确的统计方法至关重要。例如，如果数据服从正态分布，我们可以使用基于正态分布假设的统计检验，如t检验。如果数据分布未知或不满足正态分布假设，我们可能需要使用非参数检验，如Mann-WhitneyU检验。

2.5结论

统计学基础概览涵盖了统计学的基本概念和数据类型与分布的介绍。掌握这些基础知识对于进行有效的数据分析和统计推断至关重要。通过理解和应用这些概念，我们可以更好地分析数据，做出基于证据的决策。#卡方检验详解

3卡方检验的原理与应用

卡方检验（Chi-squaretest）是一种统计学方法，主要用于检验两个分类变量之间的独立性，或者一个分类变量的分布是否符合特定的理论分布。卡方检验基于卡方分布，该分布描述了在假设为真的情况下，观察到的频数与期望频数之间的差异。

3.1原理

卡方检验的统计量计算公式为：

[^2=_{i=1}^{n}]

其中，(O_i)是观察频数，(E_i)是期望频数。在独立性检验中，期望频数是基于假设独立性时，两个分类变量的频数分布计算得出的。在适合性检验中，期望频数是基于理论分布计算得出的。

3.2应用

卡方检验