找回密码
 会员注册
查看: 16|回复: 0

两步解决HuggingFace下载模型速度慢连接超时无法下载问题

[复制链接]

2万

主题

0

回帖

6万

积分

超级版主

积分
69864
发表于 2024-9-10 17:31:57 | 显示全部楼层 |阅读模式
博主使用的配置是x86_64Linux服务器第一步设置代理镜像:exportHF_ENDPOINT=https://hf-mirror.com第二步(使用代码时,删除引号):--token参数表示下载的模型是否需要登录验证(部分模型需要token)huggingface-clidownload--token"获取的hf_*******token"--resume-download--local-dir-use-symlinksFalse"HuggingFace上对应的模型名称"--local-dir"下载到本地的地址"如何获取token切记设置的权限需要Write(二)下载方式2如果需要对模型中的单个文件或者文件夹中的文件下载可使用以下命令第一步:进入python第二步:fromhuggingface_hubimportloginlogin()第三步:hf_hub_download(repo_id="meta-llama/Meta-Llama-3-8B-Instruct",filename="original/*",local_dir="/data")(三)下载方式3使用黑科技第一步:pipinstall-Uhf-transfer第二步:设置环境变量LinuxexportHF_HUB_ENABLE_HF_TRANSFER=1WindowsPowershell$env:HF_HUB_ENABLE_HF_TRANSFER=1之后使用代码:huggingface-clidownload--token"获取的hf_*******token"--resume-download--local-dir-use-symlinksFalse"HuggingFace上对应的模型名称"--local-dir"下载到本地的地址"
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 会员注册

本版积分规则

QQ|手机版|心飞设计-版权所有:微度网络信息技术服务中心 ( 鲁ICP备17032091号-12 )|网站地图

GMT+8, 2025-1-7 06:46 , Processed in 0.492743 second(s), 25 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表