Pyspark将数据帧写入bigquery [error gs]开发者社区

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

有情有义的番茄 · 南京江北新区的未来？ - 知乎· 1 年前 ·

开心的炒饭 · 013 被忽悠的耿直-苟住天使-🌈️包子漫畫· 1 年前 ·

长情的刺猬 · 第44话给我死吧 - 都市至尊 - 包子漫画· 1 年前 ·

有胆有识的炒饭 · 《鸡排公主》第10话-在线漫画-腾讯动漫官方网站· 1 年前 ·

打篮球的小笼包 · 头榜_抖抖音· 1 年前 ·

腾讯云

开发者社区

文档意见反馈控制台

首页 TVP

最新优惠活动

文章/答案/技术大牛

发布

Py4JJavaError: An error occurred while calling o114.save.
: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "gs"
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:3281)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3301)

import findspark
findspark.init()
import pyspark
from pyspark.sql import SparkSession
spark2 = SparkSession.builder\
    .config("spark.jars", "/Users/xyz/Downloads/gcs-connector-hadoop2-latest.jar") \
    .config("spark.jars.packages", "com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.18.0")\
    .config("google.cloud.auth.service.account.json.keyfile", "/Users/xyz/Downloads/MyProject-cd7627f8ef9b.json") \
    .getOrCreate()
spark2.conf.set("parentProject", "xyz")
data=spark2.createDataFrame(
        ("AAA", 51), 
        ("BBB", 23),
    ['codiPuntSuministre', 'valor'] 
spark2.conf.set("temporaryGcsBucket","bqconsumptions")
data.write.format('bigquery') \
    .option("credentialsFile", "/Users/xyz/Downloads/MyProject-xyz.json")\

问 Pyspark将数据帧写入bigquery [error gs] EN