link之家
链接快照平台
- 输入网页链接，自动生成快照
- 标签化管理网页链接
相关文章推荐
|
小眼睛的火车 · std::wstring跨dll ...· 1 年前 · |
|
|
老实的香菇 · electron-vite新一代electr ...· 1 年前 · |
|
|
茫然的黑框眼镜 · 北京大学医学部科学研究· 1 年前 · |
|
|
八块腹肌的小刀 · git pack-objects ...· 1 年前 · |
|
|
文武双全的豌豆 · Libcurl多线程crash问题_curl ...· 1 年前 · |
我有以下Python代码块(运行v2.7)，当我处理大型(几GB)文件时，这些代码会导致抛出
MemoryError
异常：
myProcess = Popen(myCmd, shell=True, stdout=PIPE, stderr=PIPE)
myStdout, myStderr = myProcess.communicate()
sys.stdout.write(myStdout)
if myStderr:
sys.stderr.write(myStderr)
在读取
documentation to
Popen.communicate()
时，似乎有一些缓冲正在进行：
备注 读取的数据缓存在内存中，因此如果数据大小很大或不受限制，请不要使用此方法。
有没有办法禁用这种缓冲，或者在进程运行时强制定期清除缓存？
在Python中运行将to级数据流式传输到
stdout
的命令时，应该使用什么替代方法
我需要注意的是，我需要处理输出和错误流。
3 个回答
高票数
最新
TorelTwiddler
回答于2011-07-30 08:07
得票数
5
如果我需要读取这么大的内容的标准输出，我可能会做的是在创建进程时将其发送到一个文件。
with open(my_large_output_path, 'w') as fo:
with open(my_large_error_path, 'w') as fe:
myProcess = Popen(myCmd, shell=True, stdout=fo, stderr=fe)编辑:如果你需要流，你可以尝试制作一个类似文件的对象，并将其传递给stdout和stderr。(不过，我还没试过这个。)然后，您可以在写入对象时从对象中读取(查询)。
Community
修改于2017-05-23 19:44
得票数
7
我想我找到了一个解决方案：
myProcess = Popen(myCmd, shell=True, stdout=PIPE, stderr=PIPE)
for ln in myProcess.stdout:
sys.stdout.write(ln)
for ln in myProcess.stderr:
sys.stderr.write(ln)这似乎降低了我的内存使用量，足以完成任务。
更新
我最近发现了一种在Python中处理数据流的更灵活的方法，那就是使用 threads 。有趣的是，Python在shell脚本可以轻松完成的事情上做得如此之差！
推荐文章
|
|
茫然的黑框眼镜 · 北京大学医学部科学研究 1 年前 |