Page cover image

5.5 Huggingface cache directory

本小节主要介绍通过设置缓存减少对系统盘C 盘的空间的占用

因为我们在使用大模型进行设计的过程之中的,因为模型的文件都非常大,原模大部分在5-7G 之间,有些模型甚至可以到达20G 左右的,例如FLUX 模型的,应用程序在调用的huggingface时候默认的位置都在C盘,或者说在系统盘会对磁盘的空间造成很大的消耗,这里针对Ubutun设计环境下的huggingface的配置环境进行的设置,减少对磁盘空间的占用

  1. 打开终端: 你已经在终端中,所以直接继续。

  2. 设置环境变量: 你可以通过在终端中设置环境变量来指定缓存文件的新位置。例如,如果你想将缓存文件存储在 /media/mydrive/huggingface_cache 目录中,可以使用以下命令:

    export HF_HOME=/media/mydrive/huggingface_cache
    

    这个命令将设置 HF_HOME 环境变量,Hugging Face 库将使用这个位置来存储所有相关的缓存文件。

  3. 使环境变量永久生效: 要使这个变更永久生效,你可以将上述 export 命令添加到你的 shell 配置文件中(如 .bashrc.bash_profile),这样每次登录时都会自动设置这个环境变量。

    打开你的 .bashrc 文件:

    nano ~/.bashrc
    

    在文件的末尾添加以下行:

    export HF_HOME=/media/mydrive/huggingface_cache
    

    保存并关闭文件。然后,执行以下命令使更改立即生效:

    source ~/.bashrc
    
  4. 验证环境变量设置: 使用 echo 命令来检查 HF_HOME 环境变量是否正确设置:

    echo $HF_HOME
    

    这应该输出你设置的新缓存路径。

通过这些步骤,你可以自定义 Hugging Face 缓存文件的存储位置,避免它们占用系统盘的空间。这对于管理磁盘空间尤其有用,特别是在多用户环境或有限的系统盘空间的情况下。

Last updated