添加链接 注册    登录
link之家
链接快照平台
  • 输入网页链接，自动生成快照
  • 标签化管理网页链接
相关文章推荐
飞奔的篮球  ·  pixivapp怎么进fanbox - 百度·  4 月前    · 
强悍的台灯  ·  日籍解放军老兵砂原惠去世，他说：我有一颗中国 ...·  1 年前    · 
独立的冲锋衣  ·  通知 更新时间变动通知 - ...·  1 年前    · 
无聊的猕猴桃  ·  2009年宁夏大学大事记-宁夏大学档案馆·  1 年前    · 
热心的钥匙扣  ·  中国人民大学信息学院2022年学术硕士研究生 ...·  1 年前    · 
link之家  ›  Spark IOException:Connection reset by peer_大数据-CSDN问答
pipe reset
https://ask.csdn.net/questions/7823332/1000
帅气的火腿肠
1 周前
浏览 95
已结题

Spark IOException:Connection reset by peer

spark集群环境下提交jar包运行程序，对mysql数据库中五百万条数据进行读取，报如下错：
java.io.IOException: Connection reset by peer
at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
at sun.nio.ch.IOUtil.read(IOUtil.java:192)
at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)
at io.netty.buffer.PooledByteBuf.setBytes(PooledByteBuf.java:253)
at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:1133)
读取同数据库其他表几百条数据正常显示，这个就不行，初步感觉应该是需要对spark参数进行调优或者对集群参数修改，对这方面并不熟悉，这个报错很懵，希望给出建议
尝试修改过spark-env,添加了export SPARK_EXECUTOR_MEMORY=5g，export SPARK_DRIVER_MEMORY=10g，没有解决
硬件配置10核，128g内存，集群环境centos7,hadoop3.1.3,spark3.1.1,mysql5.7

0

  • 编辑 收藏 删除

    • 4 条回答

    • keeper& 2022-10-31 16:45
      关注

      集群规模是怎么样的？（10核，128g内存 几台机器？）
      代码逻辑是怎么样的，单纯的读库的操作吗？还是有大量的shuffle操作
      EXECUTOR_num EXECUTOR_core 参数分别设置的多少
      是否有查看过spark的ui页面，查看是部分task失败，还是所有的task都失败

      本回答被题主选为最佳回答 , 对您是否有帮助呢? 本回答被专家选为最佳回答 , 对您是否有帮助呢? 本回答被题主和专家选为最佳回答 , 对您是否有帮助呢?
      按下Enter换行，Ctrl+Enter发表内容
    查看更多回答(3条)

    报告相同问题？

    问题事件

    • 系统已结题 11月9日
     
    推荐文章
    飞奔的篮球  ·  pixivapp怎么进fanbox - 百度
    4 月前
    强悍的台灯  ·  日籍解放军老兵砂原惠去世，他说：我有一颗中国心_航校
    1 年前
    独立的冲锋衣  ·  通知 更新时间变动通知 - 我被困在同一天十万年 - 包子漫画
    1 年前
    无聊的猕猴桃  ·  2009年宁夏大学大事记-宁夏大学档案馆
    1 年前
    热心的钥匙扣  ·  中国人民大学信息学院2022年学术硕士研究生 招生考试复试办法(附复试名单) - 新闻公告 - 中国人民大学信息学院
    1 年前
    今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
    删除内容请联系邮箱 2879853325@qq.com
    link之家 - 链接快照平台
    © 2024 ~ 沪ICP备11025650号