不会耗尽内存的Spark打印数据帧

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

稳重的小马驹 · 网易新闻客户端· 10 小时前 ·

想表白的羊肉串 · mathtype怎么导入pdf的公式 - ...· 4 小时前 ·

温文尔雅的砖头 · 利用Mathpix Snipping ...· 4 小时前 ·

酒量小的凳子 · stata 命令 ...· 4 小时前 ·

活泼的铁链 · 日渐火热的零代码开发平台是个什么鬼_aPaaS· 2 小时前 ·

文武双全的毛衣 · 《毒舌律师》：冇天理，有天理 - 知乎· 1 年前 ·

想表白的海龟 · 赝太子漫画完整版免费阅读-赝太子漫画下拉式免 ...· 1 年前 ·

空虚的领带 · 美国为何急着派“抗疫专家”到中国？_手机新浪网· 1 年前 ·

行走的冲锋衣 · 全新智己 LS7 Urban ...· 1 年前 ·

眉毛粗的书签 · 失忆娇妻宠爱记 - 🌈️包子漫畫· 1 年前 ·

腾讯云

备案控制台

开发者社区

TVP

文章/答案/技术大牛

写文章

不会耗尽内存的Spark打印数据帧

Dataset<Row> df = ...

df.show()

df.show(rowCount, false)

df.foreachPartition(iter -> {
    while(iter.hasNext()){
       System.out.println(rowIter.next().mkString(",");)
});

df.write.mode("overwrite").saveAsTable("database.tableName")

df.write.csv("/your/location/data.csv")
 df.write.json("/your/location/data.json")

long count = df.count();
long inc = count / 10;
for (long i = 0; i < count; i += inc) {
  Dataset<Row> filteredDf =
      df.where("id>=" + i + " AND id<" + (i + inc));
  List<Row> rows = filteredDf.collectAsList();
  for (Row r : rows) {
    System.out.printf("%d: %s\n", r.getAs(0), r.getString(1));
}

package net.jgp.books.sparkWithJava.ch20.lab900_splitting_dataframe;
import java.util.ArrayList;
import java.util.List;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.RowFactory;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;
 * Splitting a dataframe to bring it back to the driver for local
 * processing.
 * @author jgp
public class SplittingDataframeApp {
   * main() is your entry point to the application.
   * @param args
  public static void main(String[] args) {
    SplittingDataframeApp app = new SplittingDataframeApp();
    app.start();
   * The processing code.
  private void start() {
    // Creates a session on a local master
    SparkSession spark = SparkSession.builder()
        .appName("Splitting a dataframe to collect it")
        .master("local")
        .getOrCreate();
    Dataset<Row> df = createRandomDataframe(spark);
    df = df.cache();
    df.show();
    long count = df.count();
    long inc = count / 10;
    for (long i = 0; i < count; i += inc) {
      Dataset<Row> filteredDf =
          df.where("id>=" + i + " AND id<" + (i + inc));
      List<Row> rows = filteredDf.collectAsList();
      for (Row r : rows) {
        System.out.printf("%d: %s\n", r.getAs(0), r.getString(1));
  private static Dataset<Row> createRandomDataframe(SparkSession spark) {
    StructType schema = DataTypes.createStructType(new StructField[] {
        DataTypes.createStructField(
            "id",
            DataTypes.IntegerType,
            false),
        DataTypes.createStructField(
            "value",
            DataTypes.StringType,
            false) });
    List<Row> rows = new ArrayList<Row>();
    for (int i = 0; i < 100; i++) {

推荐文章

稳重的小马驹 · 网易新闻客户端

10 小时前

想表白的羊肉串 · mathtype怎么导入pdf的公式 - CSDN文库

4 小时前

温文尔雅的砖头 · 利用Mathpix Snipping Tool和MathType获取PDF中的公式_怎么获得pdf上的公式-CSDN博客

4 小时前

酒量小的凳子 · stata 命令 preserve是什么意思_百度知道

4 小时前

活泼的铁链 · 日渐火热的零代码开发平台是个什么鬼_aPaaS

2 小时前

文武双全的毛衣 · 《毒舌律师》：冇天理，有天理 - 知乎

1 年前

想表白的海龟 · 赝太子漫画完整版免费阅读-赝太子漫画下拉式免费阅读-霜叶工坊作品-漫画牛

1 年前

空虚的领带 · 美国为何急着派“抗疫专家”到中国？_手机新浪网

1 年前

行走的冲锋衣 · 全新智己 LS7 Urban Fit/Pro 车型上市-手机新浪汽车

1 年前

眉毛粗的书签 · 失忆娇妻宠爱记 - 🌈️包子漫畫

1 年前

不会耗尽内存的Spark打印数据帧

2 个回答