PySpark：如何查找列中的唯一值.docx

PySpark：如何查找列中的唯一值

获取PySparkDataFrame列中唯一值列表的最简单方法是使用unique函数。

本教程提供了几个示例，说明如何将此函数与以下PySparkDataFrame结合使用：

frompyspark.sqlimportSparkSession

spark=SparkSession.builder.getOrCreate()

#definedatadata=[[A,East,11],

[A,East,8],

[A,East,10],

[B,West,6],

[B,West,6],

[C,East,5]]

#definecolumnnamescolumns=[team,conference,points]

#createDataFrameusingdataandcolumnnamesdf=spark.createDataFrame(data,columns)

#viewDataFramedf.show()

+----+----------+------+

|team|conference|points|

+----+----------+------+

|A|East|11|

|A|East|8|

|A|East|10|

|B|West|6|

|B|West|6|

|C|East|5|

+----+----------+------+

示例1：查找列中的唯一值

我们可以使用以下语法来查找DataFrame的team列中的唯一值：

df.select(team).distinct().show()

+----+

|team|

+----+

|A|

|B|

|C|

+----+

我们可以看到team列中的唯一值是A、B和C。

示例2：查找列中的唯一值并对其进行排序

假设我们使用以下语法来查找点列中的唯一值：

df.select(points).distinct().show()

+------+

|points|

+------+

|11|

|8|

|10|

|6|

|5|

+------+

输出显示唯一值，但它们未以任何方式排序。

如果愿意，我们可以使用以下语法来查找点列中的唯一值并按升序返回它们：

#finduniquevaluesinpointscolumn

df_points=df.select(points).distinct()

#displayuniquevaluesinascendingorderdf_points.orderBy(points).show()

+------+

|points|

+------+

|5|

|6|

|8|

|10|

|11|

+------+

我们还可以使用参数ascending=False来按降序返回唯一值：

#finduniquevaluesinpointscolumn

df_points=df.select(points).distinct()

#displayuniquevaluesindescendingorderdf_points.orderBy(points,ascending=False).show()

+------+

|points|

+------+

|11|

|10|

|8|

|6|

|5|

+------+

示例3：查找并计算列中的唯一值

以下代码显示了如何查找并统计DataFrame的team列中唯一值的出现次数：

df.groupBy(team).count().show()

+----+-----+

|team|count|

+----+-----+

|A|3|

|B|2|

|C|1|

+----+-----+

从输出中我们可以看到三个唯一值（A、B、C）以及每个唯一值出现的次数。