选择python依赖包,用代码程序解决
推荐:pycrawlers这个python包,使用这个包可以轻松实现批量下载,以及进度显示
from pycrawlers import huggingface
hg = huggingface()
urls = ['https://huggingface.co/ziqingyang/chinese-llama-2-13b/tree/main',
'https://huggingface.co/ziqingyang/chinese-llama-2-7b/tree/main']
hg.get_batch_data(urls)
url = 'https://huggingface.co/ziqingyang/chinese-llama-2-13b/tree/main'
hg.get_data(url)
paths = ['/home/model-gpt/chinese-llama-2-13b','/home/model-gpt/chinese-llama-2-7b']
hg.get_batch_data(urls, paths)
path = '/home/model-gpt'
hg.get_data(url, path)
重点:需要有***,简称 V ,能登github的明白【该处因某些原因不写明】
解决办法:配置V在Windows、Linux、Mac OS 中 git 命令相同(笔者是在MAC环境下进行的):
配置socks5
git config --global http.proxy socks5 127.0.0.1:7890
git config --global https.proxy socks5 127.0.0.1:7890
配置http
git config --global http.proxy 127.0.0.1:7890
git config --global https.proxy 127.0.0.1:7890
查看设置:
git config --global --get http.proxy
git config --global --get https.proxy
取消办法:
git config --global --unset http.proxy
git config --global --unset https.proxy
最后正常下载
备选方案:
直接去huggingface里下载
npm ERR! Error while executing:
npm ERR! /usr/bin/git ls-remote -h -t https://github.com/nhn/raphael.git
npm ERR!
npm ERR! fatal: unable to access 'https://github.com/nhn/raphael.git/': Failed connect to github.com:443; Connection timed out
npm ERR! Error while executing:
npm ERR! /usr/bin/git ls-remote -h -t https://github.com/nhn/raphael.git
npm ERR!
npm ERR! fatal: unable to access 'https://github.com/nhn/raphael.git/': Failed connect to github.com:443; Connection timed out
在跑大模型时明明已配置了代理,但是还是会报连接错误,找了半天终于在博客园找到一篇文章讲解的很详细,给出的解释是 python在proxy的socks5方式下使用ssl校验时会出现Bug。这时我们只需降低urllib3的版本问题即可解决。
Hugging Face 无法连接问题 OSError: We couldn't connect to 'https://huggingface.co' to load this file 解决方案 亲测有效
【代码】OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file, couldn‘t find it in the。
在下载huggingface 模型的时候,经常会出现这个错误,HTTPSConnectionPool(host=‘huggingface.co’, port=443),即使你已经有了正确的上网姿势。有一种方式,你可以直接的huggingface 上,指定模型的Files and versions 进行下载,下载完成以后,如果不想手动下载那么多的文件,可以把 requests 降到2.27.1,urllib3 降到1.25.11。这样就不会从网上进行下载,而是直接用本地的模型。就可以看到,模型自己在下载了。
点击clone repository,可以发现提供了两种下载方式,方式一为HTTPS,代码如下,然而国内使用代理访问的时候采用这种方式会报错:Failed to connect to huggingface.co port 443 after 127293 ms: Couldn’t connect to server。如果直接输入:git clone git@hf.co:runwayml/stable-diffusion-inpainting,会报错,需要配置git ssh。就可以顺利完成下载了。
本文主要介绍了在Linux环境下对huggingface网站进行git clone时出现了OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to huggingface.co:443的解决方案,希望能对使用huggingface的同学们有所帮助。
1. 问题描述
2. 解决方案
2. 解决方案
2.1 解决方案一
2.2 解决方案二