当使用pyarrow读取CSV文件时，如何为所有列指定一个dtype？开发者社区

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

大力的熊猫 · log或者txt文本处理，关键数据提取并存到 ...· 4 周前 ·

体贴的松树 · 性能测试--Jmeter随机生成/随机选取/ ...· 3 周前 ·

卖萌的青椒 · Jmeter随机参数各种搭配 - 笨手笨脚 · 3 周前 ·

帅呆的佛珠 · Jmeter之读取csv文件踩坑记 - 梁剑lj · 3 周前 ·

魁梧的水煮鱼 · Jmeter 参数化实现开发者社区· 3 周前 ·

沉着的太阳 · 1秒解决win10创建TLS客户端凭据时发生 ...· 11 月前 ·

体贴的黄瓜 · Elasticsearch：Cluster备 ...· 2 年前 ·

任性的大脸猫 · 使用Promise.all解决nodejs中 ...· 2 年前 ·

非常酷的课本 · 跨域 - Document ...· 2 年前 ·

霸气的沙滩裤 · PHP从入门到精通(五) - 苍青浪 - 博客园· 2 年前 ·

腾讯云

开发者社区

文档意见反馈控制台

首页 TVP

文章/答案/技术大牛

发布

import gcsfs
import pyarrow.dataset as ds
fs = gcsfs.GCSFileSystem(project='my-google-cloud-project')
my_dataset = ds.dataset("bucket/foo/bar.csv", format="csv", filesystem=fs)
my_dataset.to_table()

ArrowInvalid                              Traceback (most recent call last)
........py in <module>
----> 65 my_dataset.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/_dataset.pyx:491, in pyarrow._dataset.Dataset.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/_dataset.pyx:3235, in pyarrow._dataset.Scanner.to_table()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/error.pxi:143, in pyarrow.lib.pyarrow_internal_check_status()
File /opt/conda/envs/py39/lib/python3.9/site-packages/pyarrow/error.pxi:99, in pyarrow.lib.check_status()
ArrowInvalid: In CSV column #172: Row #28: CSV conversion error to int64: invalid value '6.58841482364418'

import pyarrow as pa
import pyarrow.csv as csv
import pyarrow.dataset as ds
column_types = {'a': pa.float64(), 'b': pa.float64(), 'c': pa.float64()}
convert_options = csv.ConvertOptions(column_types=column_types)

推荐文章

大力的熊猫 · log或者txt文本处理，关键数据提取并存到csv文件

4 周前

体贴的松树 · 性能测试--Jmeter随机生成/随机选取/csv读取关键字 - Wilson_Blogs

3 周前

卖萌的青椒 · Jmeter随机参数各种搭配 - 笨手笨脚

3 周前

帅呆的佛珠 · Jmeter之读取csv文件踩坑记 - 梁剑lj

3 周前

魁梧的水煮鱼 · Jmeter 参数化实现开发者社区

3 周前

沉着的太阳 · 1秒解决win10创建TLS客户端凭据时发生严重错误_哔哩哔哩_bilibili

11 月前

体贴的黄瓜 · Elasticsearch：Cluster备份 Snapshot及Restore API - 哈喽哈喽111111 - 博客园

2 年前

任性的大脸猫 · 使用Promise.all解决nodejs中for循环执行异步函数问题_nodejs promise.all_myl0808的博客-CSDN博客

2 年前

非常酷的课本 · 跨域 - Document Redirect 与 XHR Redirect区别 - 个人文章 - SegmentFault 思否

2 年前

霸气的沙滩裤 · PHP从入门到精通(五) - 苍青浪 - 博客园

2 年前

Stack Overflow用户