为什么计算20个1G文件的MD5比计算单个20G文件的MD5耗时

wawos · 发表于 2025-3-17 19:59:21

为什么计算20个1G文件的MD5, 比计算单个20G文件的MD5耗时少很多啊

有什么说话吗

计算总字节数都是一样的吗, 不是应该完全一样吗

但是我测试计算单个20G的文件耗时要多50%

魔都少女的梦 · 发表于 2025-3-17 20:22:46

多线程？

pykane · 发表于 2025-3-17 20:40:20

是不是你计算多个1G时，是并行计算的？
也就是说使用了多个CPU 同时在处理。
但你计算单个20G时，只能一个CPU 处理。

pykane · 发表于 2025-3-17 20:43:04

如果不是上面的情况，
那就只有另一种可能：
1G计算方式是读到内存里计算很轻松。
但，20G 你全读到内存后占用了过多的系统资源。所以会显的很慢。

wawos · 发表于 2025-3-17 22:33:16

pykane 发表于 2025-3-17 20:43
如果不是上面的情况，
那就只有另一种可能：
1G计算方式是读到内存里计算很轻松。

依次计算, 1G文件也不是同时计算的, 估计是内存原因

rammiah · 发表于 2025-3-18 12:48:28

md5不能并行计算

用户名		自动登录	找回密码
密码			注册

[疑问] 为什么计算20个1G文件的MD5比计算单个20G文件的MD5耗时