hf命令行更新:相同Xet文件共享缓存,清理细到单个文件

milo Lv.2 2026/10/28 23:32:32 浏览 0

新版hf支持按单个文件清理缓存,并让相同Xet文件跨仓库共用副本。10月26日发布的hf CLI和huggingface_hub近周更新汇总,介绍了这些变化。

共享缓存针对通过hf_xet下载的相同Xet文件:实体只存一份,其他需要它的仓库使用链接。这依赖支持符号链接的缓存布局;文件系统或权限不满足时,会回退到各仓库自己的存储方式。共享的前提是文件相同,同一底模的不同量化权重不能直接当成同一份文件。

只想清掉某个量化文件时,可以指定精确文件路径,移除它在该仓库所有已缓存修订中的条目,保留其他文件。实体文件只有在没有其他缓存引用时才删除;另一个仓库还在共享它时,删掉一处引用未必释放整份文件的空间。单文件路径不支持目录或通配符。

prune的清理范围包含无分支或标签引用的缓存修订、中断下载遗留的.incomplete文件,以及没有缓存仓库引用的共享文件。它依据缓存引用关系工作,不判断某个模型以后是否还会用到;相关命令提供预览删除范围的dry-run选项。这里涉及的是本地缓存,远程仓库文件不会因此删除。

下载方面,多文件下载不再为每个文件单独发起一次API请求;include或exclude筛选表达式未匹配到文件时会给警告。这能提示筛选写错或文件名不符,但警告不等于下载命令硬性失败,自动化流程仍要检查选中的文件与结果。

评论 0

发表评论

登录后参与讨论

登录

暂无评论