当使用pyarrow读取CSV文件时，如何为所有列指定一个dtype？开发者社区

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

淡定的槟榔 · 使用Python ...· 8 月前 ·

玉树临风的炒粉 · VSCode混乱的调试、监视、变量、Pyth ...· 8 月前 ·

追风的烤地瓜 · 跨平台、原生应用、基于Web构建，你想要的桌 ...· 11 月前 ·

耍酷的草稿本 · 对象存储OSSAndroidSDK流式下载示 ...· 1 年前 ·

讲道义的小蝌蚪 · 极睿科技：AIGC将开启全新电商商品内容生产 ...· 1 年前 ·

腾讯云

开发者社区

文档意见反馈控制台

首页 TVP

文章/答案/技术大牛

发布

import gcsfs
import pyarrow.dataset as ds
fs = gcsfs.GCSFileSystem(project='my-google-cloud-project')
my_dataset = ds.dataset("bucket/foo/bar.csv", format="csv", filesystem=fs)
my_dataset.to_table()

ArrowInvalid                              Traceback (most recent call last)
........py in <module>
----> 65 my_dataset.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/_dataset.pyx:491, in pyarrow._dataset.Dataset.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/_dataset.pyx:3235, in pyarrow._dataset.Scanner.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/error.pxi:143, in pyarrow.lib.pyarrow_internal_check_status()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/error.pxi:99, in pyarrow.lib.check_status()
ArrowInvalid: In CSV column #172: Row #28: CSV conversion error to int64: invalid value '6.58841482364418'

import pyarrow as pa
import pyarrow.csv as csv
import pyarrow.dataset as ds
column_types = {'a': pa.float64(), 'b': pa.float64(), 'c': pa.float64()}
convert_options = csv.ConvertOptions(column_types=column_types)

推荐文章

淡定的槟榔 · 使用Python /计算机视觉等获取图像中的顶点？(图片附后)-腾讯云开发者社区-腾讯云

8 月前

玉树临风的炒粉 · VSCode混乱的调试、监视、变量、Python评估

8 月前

追风的烤地瓜 · 跨平台、原生应用、基于Web构建，你想要的桌面GUI框架这里都有|gui|应用程序|linux|windows_网易订阅

11 月前

耍酷的草稿本 · 对象存储OSSAndroidSDK流式下载示例_对象存储 OSS-阿里云帮助中心

1 年前

讲道义的小蝌蚪 · 极睿科技：AIGC将开启全新电商商品内容生产方式 ChatGPT、Midjourney、stable diffusion、Runway等AIGC工具的爆火将市场的目光聚焦... - 雪球

1 年前

Stack Overflow用户