如何更改拥抱面变形金刚的默认缓存目录

Question

默认缓存目录缺少磁盘容量，我需要更改默认缓存目录的配置。

Answer 1

通过设置参数cache_dir，每次使用.from_pretrained加载模型时，都可以指定缓存目录。您可以通过在每次使用前导出环境变量TRANSFORMERS_CACHE（即之前导入它！”库）来定义默认位置。

python示例：

import os
os.environ['TRANSFORMERS_CACHE'] = '/blabla/cache/'

bash示例：

export TRANSFORMERS_CACHE=/blabla/cache/

Answer 2

正如@cronoik所提到的，除了修改终端中的缓存路径外，还可以直接在代码中修改缓存目录。如果您在HuggingFace上查找时遇到任何困难，我只会为您提供实际的代码：

tokenizer = AutoTokenizer.from_pretrained("roberta-base", cache_dir="new_cache_dir/")

model = AutoModelForMaskedLM.from_pretrained("roberta-base", cache_dir="new_cache_dir/")