如何在Scala中将CSV文件加载到数据框中进行分析？

首先，需要导入 Spark SQL 库来完成这个任务，可以使用以下命令导入：

import org.apache. spark .sql. Spark Session

使用 Spark Session创建一个新的 Spark 应用 程序，如下：

val spark = Spark Session.builder().appName("CSV to DataFrame").master("local[*]").getOrCreate()

现在，我们可以使用 Spark Session来读取CSV文件。应该指定文件路径和自定义分隔符（如果需要）。例如，要加载名为"test.csv"的文件，可以使用以下代码：

val df = spark .read.format("csv").option("header", "true").option("delimiter", ",").load("test.csv")

这将读取CSV文件并创建一个DataFrame对象，该对象可以用作分析的数据源。在此示例中，我们使用“header”选项指示第一行包含列名称，使用“delimiter”选项指定逗号作为字段分隔符。

现在，我们可以使用DataFrame API 对数据进行操作，例如：

//显示数据框中的前10个记录 df.show(10)

//统计年龄的平均值 df.select("age").agg(avg("age")).show()

这将显示前10行数据和平均年龄。可以使用DataFrame API 执行各种分析任务，例如按类别分组，计算汇总统计信息等。

最后，关闭 Spark Session对象以释放资源：

spark .stop()

通过这些步骤，可以将CSV文件加载到数据框中，并可以使用DataFrame API 进行分析。