link之家
链接快照平台
- 输入网页链接，自动生成快照
- 标签化管理网页链接
相关文章推荐
|
无邪的硬盘 · PB从入坑到放弃（七）PBer们的福音来了 ...· 11 月前 · |
|
|
刚毅的汽水 · Inception ...· 1 年前 · |
|
|
爱喝酒的橙子 · vue插件总结 - 知乎· 1 年前 · |
|
|
强悍的牙膏 · OAuth2.0实战！使用JWT令牌认证！_ ...· 1 年前 · |
|
|
健壮的番茄 · WebService系列之Axis ...· 1 年前 · |
我正在一个Scala + Spark项目中工作，在该项目中，我们将数据从文件加载到PostgreSQL中。它在独立模式下使用jdbc.write在本地运行良好，测试数据很小。
但是由于生产数据是巨大的，我想使用一个集群，每个执行者拥有多个工作人员和一个逻辑处理器核心。
考虑到这一点，我如何在集群中的所有可用核之间划分数据？
谢谢!
PS:使用Scala2.13.9和Spark3.3.0
1 个回答
高票数
最新
M_S
回答于2022-10-13 05:27
已采纳
得票数
1
如果您正在使用动态分配，并且您的集群被并发作业使用，那么可能很难得到与您的作业可能使用的核数目完全相等的分区数，因为您不会预先知道这个数目，并且无法动态计算它。
您可以尝试找出一些任意的数字，并将numPartitions jdbc参数设置为要在写时使用的分区数。使用此参数，Spark将在写入之前重新划分此数据集，您将得到写入上的任务数量等于numPartitions。记住，用并行=1 jdbc连接编写的每个任务都要注意，您可能会溢出您的PostreSQL。
numPartitions (none)表读取和 写入 中可用于并行处理的最大分区数。这也决定了 并发JDBC连接 的最大数量。如果要写入的分区数超过此限制，则在编写之前调用numPartitions将其减少到此限制。 read/write
页面原文内容由
Marcos Felipe、M_S
提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/74040660
复制
所属 标签
scala
apache-spark
apache-spark-sql
apache-spark-dataset
相似 问题
- 在进行数据库调用的线程中使用ruby超时 得票数 5
- 如何在Java中的某个位置替换字符串中的字符？ 得票数 1
- 整个数据集的回归线以及基于R ggplot2中的组的回归线？ 得票数 6
- 如何在Java中从多个类访问同一对象 得票数 2
- 为整个项目定义CSS中自定义字体的大小 得票数 2
- MathJax在包含可观察对象的Angular5分区中不起作用 得票数 1
- 在组件中打开套接字连接 得票数 1
- 在Angular中用大括号将参数括起来 得票数 1
- CSS文本动画不会在Safari中显示，而且我无法将@supports查询用作备份 得票数 1
- 获取类别的值，并在下一列中设置它 得票数 0
关注
腾讯云
开发者
公众号
将获得
10元无门槛代金券
洞察腾讯核心技术
剖析业界实践案例
Copyright © 2013 - 2023 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号： 粤B2-20090059 深公网安备号 44030502008569
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
扫码关注腾讯云开发者
领取腾讯云代金券