LOGO OA教程 ERP教程 模切知识交流 PMS教程 CRM教程 开发文档 其他文档  
 
网站管理员

【C#】大批量判断文件是否存在的两种方法效率对比

admin
2024年7月19日 23:53 本文热度 779

在日常开发中,我们经常需要和文件打交道,特别是桌面开发,有时候会需要加载大批量的文件,而且可能还会存在部分文件缺失的情况,那么如何才能快速判断文件是否存在呢?如果处理不当,且文件数量比较多的时候,可能会造成卡顿等情况,进而影响程序的使用体验。今天就以一个简单的小例子,简述两种不同的判断文件是否存在的方式以及效率比较。

涉及知识点

在本示例中,涉及的知识点如下:
  1. 单个文件是否存在判断,通常采用File.Exists(file)来判断文件是否存在,存在返回true,不存在返回false。
  2. 获取目录下的文件,通常采用Directory.GetFiles(dir)来获取目录下的文件,返回目录下的文件列表。
  3. 计算程序执行耗时,通常采用Stopwatch进行计算,单位可以是毫秒,秒,TimeSpan等。

前提

本示例的前提是,通常有多个文件(如:几十,几百,几千,几万)需要判断是否存在,且文件隶属于多个目录。

循环文件判断

C#默认提供的文件存在判断方式,一般用于单个文件。如果有多个文件,可以批量循环进行判断。步骤如下:
  1. 循环需要判断的文件列表
  2. 每个文件都判断一次文件是否存在。 
代码如下所示:
/// <summary>/// 逐一判断是否存在,并返回判断时长/// </summary>/// <param name="files"></param>/// <returns></returns>private static long CheckFileExist01(List<string> files){  Stopwatch stopwatch = new Stopwatch();  stopwatch.Start();  foreach (var file in files)  {    if (File.Exists(file))    {     }  }  stopwatch.Stop();  return stopwatch.ElapsedMilliseconds;}

上述判断方式,如果有一百个文件,则会进行一百次的文件是否存在判断,都是磁盘文件判断。

统一获取判断

统一获取,即获取文件夹目录下的文件,在内存中判断文件是否存在。步骤如下:
  1. 先获取文件列表所在的文件夹,

  2. 获取文件夹中的所有文件,存入字典中,

  3. 然后通过字典判断是否包含文件

代码如下所示:

/// <summary>/// 统一获取文件夹目录中的文件,再进行判断/// </summary>/// <param name="files"></param>/// <returns></returns>private static long CheckFileExist02(List<string> files){  Stopwatch stopwatch = new Stopwatch();  stopwatch.Start();  Dictionary<string,string> dictionary = new Dictionary<string, string>();  var folders = files.Select(item=>Path.GetDirectoryName(item)).Distinct().ToList();  foreach (var folder in folders)  {    var tmpFiles=Directory.GetFiles(folder);    foreach(var tmpFile in tmpFiles)    {      dictionary[tmpFile] = tmpFile;    }  }  foreach (var file in files)  {    if (dictionary.TryGetValue(file, out string a))    {     }  }  stopwatch.Stop();  return stopwatch.ElapsedMilliseconds;}

性能比较

在本示例中,分别从不同维度进行比较,如:本地文件和共享目录文件,以及不同文件数量进行比较。分别如下:

1. 本地文件
本地文件,分别对10到500个文件进行判断是否存在,对两种方式的耗时比较。
其中横坐标为文件数量,纵坐标为判断文件是否存在的执行耗时(毫秒)。如下所示:
通过比较发现,对于本地文件,结论如下:
  1. 对于需要判断的文件数量较少时,循环单个文件和统一获取再判断,性能上并无太大差异。
  2. 随着需要判断的文件数量逐渐增多,循环单个文件的耗时会增加,而统一获取在内存判断,则并无太大波动。
  3. 受操作系统影响,性能耗时可能会存在波动。

2. 共享目录文件

共享文件,分别对10到500个文件进行判断是否存在,对两种方式的耗时比较。
其中横坐标为文件数量,纵坐标为判断文件是否存在的执行耗时(毫秒)。如下所示:
通过比较发现,对于共享目录文件,结论如下:
  1. 随着需要判断的文件数量逐渐增多,循环单个文件的耗时会增加,而统一获取在内存判断,则并无太大波动。
  2. 受操作系统或网络影响,性能耗时可能会存在波动。

结论

通过对本地文件和共享目录下文件,以及不同数量的文件进行文件是否存在校验的耗时比较分析,结论如下:

如果需要判断的文件数量比较多,且分散存储的目录虽然不唯一,却相对集中,建议采用第二种(统一获取)方式进行校验。


该文章在 2024/7/22 12:34:40 编辑过
关键字查询
相关文章
正在查询...
点晴ERP是一款针对中小制造业的专业生产管理软件系统,系统成熟度和易用性得到了国内大量中小企业的青睐。
点晴PMS码头管理系统主要针对港口码头集装箱与散货日常运作、调度、堆场、车队、财务费用、相关报表等业务管理,结合码头的业务特点,围绕调度、堆场作业而开发的。集技术的先进性、管理的有效性于一体,是物流码头及其他港口类企业的高效ERP管理信息系统。
点晴WMS仓储管理系统提供了货物产品管理,销售管理,采购管理,仓储管理,仓库管理,保质期管理,货位管理,库位管理,生产管理,WMS管理系统,标签打印,条形码,二维码管理,批号管理软件。
点晴免费OA是一款软件和通用服务都免费,不限功能、不限时间、不限用户的免费OA协同办公管理系统。
Copyright 2010-2024 ClickSun All Rights Reserved