.NET筛选重复文件不用愁：文件哈希值的实现思路详解

为什么文件哈希值是筛选重复文件的“黄金标准”

先得说清楚：哈希值到底是啥？其实它就是把任意大小的文件内容，通过哈希算法（比如MD5、SHA系列）转换成一串固定长度的字符串——比如MD5是32位十六进制数，SHA-256是64位。这串字符串就像文件的“数字指纹”：内容一模一样的文件，哈希值100%相同；内容哪怕差一个字节（比如改了一个像素、加了个空格），哈希值都会完全不一样。

为啥不用文件名或文件大小筛选？太容易错了。比如朋友的素材里，有个“海边日落.psd”和“海边日落_副本.psd”，文件名不同但内容一样；还有个“简历.pdf”改了内容但大小没变（比如删了一行字又加了一行空格），用大小比对根本查不出来。但哈希值不会骗人——不管你怎么改文件名、移位置，只要内容没变，哈希值就不变。

常用的哈希算法有啥区别？我整理了个表格，你一看就懂：

我自己的经验是：日常用MD5就够了——去年帮朋友处理2000多个PSD素材，用MD5算哈希值，每秒钟能处理10多个文件，半小时就完事了，没出现过“假阳性”（哈希值相同但内容不同）。要是处理合同这种敏感文件，再换SHA-256，虽然慢点，但稳。

.NET里实现哈希值筛选重复文件的具体步骤

接下来讲真家伙：用.NET写工具的具体思路。别慌，不是让你写复杂代码，而是把逻辑理清楚——你哪怕不会写代码，也能跟着思路找现成的工具用；会写代码的，直接照着改就行。

第一步：遍历文件夹里的所有文件

首先得把要检查的文件夹里的所有文件“捞”出来。.NET里有两个常用方法：Directory.GetFiles()和Directory.EnumerateFiles()。强烈推荐用后者——我之前踩过坑：用GetFiles()处理一个存了10G图片的文件夹，它会一次性把所有文件路径加载到内存里，结果直接内存溢出，程序崩了。而EnumerateFiles()是“懒加载”——读一个文件路径就处理一个，内存占用始终很小，处理100G的文件夹都不崩。

比如要遍历“D:素材库”里的所有文件，包括子文件夹，代码思路是这样的：

var folderPath = @"D:素材库";
// 遍历所有文件，包括子文件夹，过滤掉系统文件
var files = Directory.EnumerateFiles(folderPath, "*", SearchOption.AllDirectories)
 .Where(f => !Path.GetFileName(f).StartsWith(".")); // 跳过隐藏文件

这里加了个Where过滤隐藏文件——比如.DS_Store（Mac系统的隐藏文件）或者Thumbs.db（Windows的缩略图缓存），这些文件没必要算哈希值，省点时间。

第二步：给每个文件计算哈希值

遍历到文件后，下一步是算它的哈希值。核心逻辑是读文件流，用哈希算法计算。注意两点：

我常用的计算哈希值的方法：

private static string CalculateHash(string filePath, HashAlgorithm algorithm)
{
 using var stream = new FileStream(filePath, FileMode.Open, FileAccess.Read);
 using var hashAlgorithm = algorithm;
 // 分块读文件，每次读4KB
 byte[] buffer = new byte[4096];
 int bytesRead;
 while ((bytesRead = stream.Read(buffer, 0, buffer.Length)) > 0)
 {
 hashAlgorithm.TransformBlock(buffer, 0, bytesRead, buffer, 0);
 }
 hashAlgorithm.TransformFinalBlock(buffer, 0, 0);
 // 把字节数组转成十六进制字符串
 return BitConverter.ToString(hashAlgorithm.Hash).Replace("-", "").ToLower();
}

解释下：HashAlgorithm是.NET里的抽象类，MD5、SHA-256都是它的子类。比如要算MD5，就传MD5.Create()；要算SHA-256，传SHA256.Create()。

我去年帮朋友处理大文件时，就用了这个分块读的方法——她有个8G的婚礼视频，用分块读算哈希值，内存占用一直没超过10MB，比一次性读快多了。

第三步：比对哈希值，找出重复文件

算完所有文件的哈希值后，下一步是找相同哈希值的文件。这里用Dictionary>最合适——键是哈希值，值是对应这个哈希值的所有文件路径。比如同一个哈希值对应3个文件路径，那这3个文件就是重复的。

逻辑很简单：

// 存哈希值和文件路径的字典
var hashDict = new Dictionary>();
foreach (var file in files)
{
 try
 {
 // 用MD5算哈希值
 var hash = CalculateHash(file, MD5.Create());
 if (!hashDict.ContainsKey(hash))
 {
 hashDict[hash] = new List();
 }
 hashDict[hash].Add(file);
 }
 catch (Exception ex)
 {
 // 处理异常：比如文件正在被占用，或者没有权限读
 Console.WriteLine($"处理文件{file}失败：{ex.Message}");
 }
}
// 找出重复的文件（哈希值对应多个路径）
var duplicateFiles = hashDict.Where(kv => kv.Value.Count > 1)
 .ToDictionary(kv => kv.Key, kv => kv.Value);

最后duplicateFiles里存的就是所有重复文件——比如键是“d41d8cd98f00b204e9800998ecf8427e”（空文件的MD5哈希），值是["D:素材库空文件1.txt", "D:素材库空文件2.txt"]，这两个就是重复的。

第四步：处理重复文件（可选）

找到重复文件后，你可以选择删除、移动或者重命名。比如朋友的素材库，我帮她把重复的文件移到了“D:重复素材”文件夹里，留一个原件，其他的都删了——她统计了下，一共清出了3G多空间，相当于多存了1000个新素材。

这里要注意：删文件前一定要确认——比如有些文件虽然哈希值相同，但可能是故意存的多个版本（比如“海报_v1.psd”和“海报_v2.psd”，如果内容没改，哈希值也会相同）。所以最好做个“预览”功能，让用户先看哪些文件重复了，再手动确认要不要删。

我最后再补个小技巧：缓存哈希值。比如你经常要检查同一个文件夹，可以把算过的哈希值存在本地（比如JSON文件里），下次检查时，只需要算新增的文件——我帮朋友做的工具里加了这个功能，她第二次检查素材库时，只算了100多个新增文件，比第一次快了80%。

其实用.NET做重复文件筛选真的不难，核心就是“哈希值”这三个字。你要是不会写代码，可以找现成的工具（比如“Duplicate File Finder”），但要是想自己定制（比如只筛选PSD文件，或者按哈希值自动分类），跟着上面的思路写个小工具，比现成的好用10倍。

你有没有遇到过重复文件的麻烦？比如存了好几次同一个电影，或者素材库里全是重复的图片？下次试试用哈希值的方法，绝对比手动找快得多——要是试了，欢迎回来告诉我效果！

本文常见问题（FAQ）

为什么不用文件名或文件大小筛选重复文件？

因为文件名和大小太容易“骗人”了。比如有的文件改名成“_副本”但内容没变，文件名不同但其实是重复的；还有的文件改了内容（比如删一行加一行空格），但大小没变，用大小比对根本查不出来。而哈希值是文件的“数字指纹”，只要内容没变，不管文件名或位置怎么改，哈希值都不变，内容差一个字节哈希值就会完全不同，比文件名或大小靠谱多了。

常用的哈希算法有哪些？该怎么选？

常用的有MD5、SHA-1和SHA-256。MD5计算速度极快，但安全性较低（可能被碰撞），适合日常文件筛选（比如素材、文档）；SHA-1速度中等，安全性一般，适合普通图片、视频的验证；SHA-256速度较慢，但安全性极高（目前没有有效碰撞方法），适合合同、财务数据这类敏感文件。日常用MD5就够，敏感文件换SHA-256。

.NET里遍历文件夹用什么方法比较好？

推荐用Directory.EnumerateFiles()，别用Directory.GetFiles()。因为GetFiles会一次性把所有文件路径加载到内存，处理大文件夹（比如10G图片）容易内存溢出；而EnumerateFiles是“懒加载”，读一个文件路径处理一个，内存占用很小。另外可以加个过滤条件，跳过隐藏文件（比如文件名开头带“.”的），避免处理没必要的系统文件。

计算大文件的哈希值时需要注意什么？

关键是要“分块读”。比如10G的视频文件，不能一次性读到内存里，要分块（比如每次读4KB），这样内存占用只有几KB，再大的文件都不怕。另外要用using包装文件流，避免文件被占用（比如算完没关，后面删不掉）。这样处理大文件既高效又不会崩程序。

找到重复文件后，怎么处理才不会误删重要文件？

先做“预览”，让自己能看到哪些文件重复了，再手动确认要不要删。比如有的文件虽然哈希值相同，但可能是故意存的不同版本（比如“海报_v1.psd”和“海报_v2.psd”如果内容没改，哈希值也会相同）。可以先把重复文件移到单独文件夹（比如“重复素材”），留一个原件，确认没问题再删除，避免误删重要文件。

YUANLEISVIP

收藏 链接