添加链接 注册    登录
link之家
链接快照平台
  • 输入网页链接，自动生成快照
  • 标签化管理网页链接
相关文章推荐
性感的卤蛋  ·  空调维修陷阱调查：“缺氟”成常用“忽悠”手段 ...·  3 月前    · 
风度翩翩的镜子  ·  1995年-1997年大事记 - 驻马店人民政府·  6 月前    · 
豪气的创口贴  ·  冯珊珊世界第3追平生涯最高 ...·  1 年前    · 
激动的瀑布  ·  病娇模拟器绫乃妈妈 - 抖音·  1 年前    · 
强健的冰淇淋  ·  副本 第二季迅雷下载_副本 ...·  1 年前    · 
link之家  ›  base64编码处理大文件_16521544193的技术博客_
编码转换 base64
https://blog.51cto.com/u_14558453/2442834
腼腆的绿豆
1 年前

在做项目的时候遇到需要将文件转为base64编码，并存储在文件中。

在将文件转为base64编码是会将文件读入内存，进行base64编码，输出到文件中。代码入下：

1
2
3
4
5
6
7
8
9
10
FileInputStream stream = new FileInputStream( "D:\\桌面\\程序员-第4版.pdf" );
ByteArrayOutputStream out = new ByteArrayOutputStream(1024);
byte [] b = new byte [1024];
int n;
while ((n = stream.read(b)) != -1) {
out .write(b, 0, n);
}
stream.close();
out .close();
System. out .println( new String(Base64.encodeBase64( out .toByteArray())));

但是大文件在进行base64编码的时候就会遇到OOM（OOM为out of memory的简称，称之为内存溢出）。

产生OOM的原因：

  • 文件太大，超出了内存

  • 文件可以正常读入内存，由于base64编码后的文件比原来的文件大1/3，在编码的过程中超出内存

由于3个常规字符可以转换为4个base64编码字符，所以使用3的公倍数作为缓冲区大小。

所以在对大文件进行base64编码时可以采用分段编码，进行输出。代码入下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
//使用分段上传的读取文件的方式将大文件转换为base64编码数据 官网 www.1b23.com
ByteArrayOutputStream os1 = new ByteArrayOutputStream();
InputStream file1 = new FileInputStream( "D:\\桌面\\程序员-第4版.pdf" );
byte [] byteBuf = new byte [3 * 1024 * 1024];
byte [] base64ByteBuf;
int count1; //每次从文件中读取到的有效字节数
while ((count1 = file1.read(byteBuf)) != -1) {
if (count1 != byteBuf.length) { //如果有效字节数不为3*1000，则说明文件已经读到尾了，不够填充满byteBuf了
byte [] copy = Arrays.copyOf(byteBuf, count1); //从byteBuf中截取包含有效字节数的字节段
base64ByteBuf = Base64.encodeBase64(copy); //对有效字节段进行编码
} else {
base64ByteBuf = Base64.encodeBase64(byteBuf);
}
os1.write(base64ByteBuf, 0, base64ByteBuf.length);
os1.flush();
}
file1.close();
System. out .println(os1.toString());

以上代码是将编码后的数据输出至控制台。其实最好是将文件分段进行编码，分段输出，这样不管文件多大，都可以进行编码，并且不会OOM。以下是将文件输出至txt文档中：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
ByteArrayOutputStream os1 = new ByteArrayOutputStream();
InputStream file1 = new FileInputStream( "D:\\桌面\\程序员-第4版.pdf" );
byte [] byteBuf = new byte [3 * 1024 * 1024];
byte [] base64ByteBuf;
int count1; //每次从文件中读取到的有效字节数
File file = new File( "D:\\1.txt" );
while ((count1 = file1.read(byteBuf)) != -1) {
if (count1 != byteBuf.length) { //如果有效字节数不为3*1000，则说明文件已经读到尾了，不够填充满byteBuf了
byte [] copy = Arrays.copyOf(byteBuf, count1); //从byteBuf中截取包含有效字节数的字节段
base64ByteBuf = Base64.encodeBase64(copy); //对有效字节段进行编码
} else {
base64ByteBuf = Base64.encodeBase64(byteBuf);
}
FileUtils.writeByteArrayToFile(file, base64ByteBuf, true ); // 将转换后的数据写入文件中，该方法会自动创建文件
os1.flush();
}
file1.close();


 
推荐文章
性感的卤蛋  ·  空调维修陷阱调查：“缺氟”成常用“忽悠”手段-新华网
3 月前
风度翩翩的镜子  ·  1995年-1997年大事记 - 驻马店人民政府
6 月前
豪气的创口贴  ·  冯珊珊世界第3追平生涯最高 朴城炫荣登新科球后_lpga赛_新浪竞技风暴_新浪网
1 年前
激动的瀑布  ·  病娇模拟器绫乃妈妈 - 抖音
1 年前
强健的冰淇淋  ·  副本 第二季迅雷下载_副本 第二季720P_副本 第二季1080P_迅雷电影天堂
1 年前
今天看啥   ·   Py中国   ·   codingpro   ·   小百科   ·   link之家   ·   卧龙AI搜索
删除内容请联系邮箱 2879853325@qq.com
link之家 - 链接快照平台
© 2024 ~ 沪ICP备11025650号