1、curl简介
cURL是一个利用URL语法在命令行下工作的文件传输工具,1997年首次发行。它支持文件上传和下载,所以是综合传输工具,但按传统,习惯称cURL为下载工具。cURL还包含了用于程序开发的libcurl。
cURL支持的通信协议有FTP、FTPS、HTTP、HTTPS、TFTP、SFTP、Gopher、SCP、Telnet、DICT、FILE、LDAP、LDAPS、IMAP、POP3、SMTP和RTSP。
curl还支持SSL认证、HTTP POST、HTTP PUT、FTP上传, HTTP form based upload、proxies、HTTP/2、cookies、用户名+密码认证(Basic, Plain, Digest, CRAM-MD5, NTLM, Negotiate and Kerberos)、file transfer resume、proxy tunneling。
2、curl下载
地址:https://curl.se/download.html ,如下图所示
3、curl安装
①将curl文件包解压至文件夹:D:\Web-Crawler,此时curl文件的路径(CURL_HOME)为:D:\Web-Crawler\curl-7.64.1
②配置环境变量,步骤:computer右键/点击属性/点击高级系统设置……详细如下图所示:
③配置环境变量
在环境变量界面,path路径后追加:%CURL_HOME%\I386,如下图所示
4、curl测试
①:重启电脑;
②windows键+R键,键入cmd,进入管理员界面;
③在管理员界面键入指令:curl --help ,输出以下界面:
④再在管理员界面键入指令:curl www.bidu.com -i,输出界面有乱码,如下图所示:
5、到此时,说明:curl已安装成功,但是有乱码,需要继续安装iconv
①iconv的下载地址:http://gnuwin32.sourceforge.net/packages/libiconv.htm,如下图所示
②iconv安装:选择好安装路径后,一路默认+确定
③配置iconv的环境变量,(即在path路径后追加:D:\Web-Crawler\GnuWin32\bin,详细步骤如下图所示:
④重启电脑
5、测试
①windows键+R键,键入cmd,进入管理员界面
②在管理员界面键入指令: curl www.baidu.com -i | iconv -f utf-8 -t gbk,输出如下:
至此,curl就配置成功了,可以开展爬网页了
lib
curl
库是一个免费且易于使用的客户端 URL 传输库。它支持多种协议,高度跨平台。文档也不错。
本文记录下lib
curl
的安装与lib
curl
API的入门使用。
Startup:
-V, --version display the version of Wget and exit.
-h, --help print this help.
-b, --background go to background after startup.
-e, --execute=COMMAND execute a `.wgetrc' command.
Logging and input file:
-o, --output-file=FILE log messages to FILE.
-a, --append-output=FILE append messages to FILE.
-d, --debug print debug output.
-q, --quiet quiet (no output).
-v, --verbose be verbose (this is the default).
-nv, --non-verbose turn off verboseness, without being quiet.
-i, --input-file=FILE read URL-s from file.
-F, --force-html treat input file as HTML.
Download:
-t, --tries=NUMBER set number of retries to NUMBER (0 unlimits).
-O --output-document=FILE write documents to FILE.
-nc, --no-clobber don't clobber existing files.
-c, --continue restart getting an existing file.
--dot-style=STYLE set retrieval display style.
-N, --timestamping don't retrieve files if older than local.
-S, --server-response print server response.
--spider don't download anything.
-T, --timeout=SECONDS set the read timeout to SECONDS.
-w, --wait=SECONDS wait SECONDS between retrievals.
-Y, --proxy=on/off turn proxy on or off.
-Q, --quota=NUMBER set retrieval quota to NUMBER.
Directories:
-nd --no-directories don't create directories.
-x, --force-directories force creation of directories.
-nH, --no-host-directories don't create host directories.
-P, --directory-prefix=PREFIX save files to PREFIX/...
--cut-dirs=NUMBER ignore NUMBER remote directory components.
HTTP options:
--http-user=USER set http user to USER.
--http-passwd=PASS set http password to PASS.
-C, --cache=on/off (dis)allow server-cached data (normally allowed).
--ignore-length ignore `Content-Length' header field.
--header=STRING insert STRING among the headers.
--proxy-user=USER set USER as proxy username.
--proxy-passwd=PASS set PASS as proxy password.
-s, --save-headers save the HTTP headers to file.
-U, --user-agent=AGENT identify as AGENT instead of Wget/VERSION.
FTP options:
--retr-symlinks retrieve FTP symbolic links.
-g, --glob=on/off turn file name globbing on or off.
--passive-ftp use the "passive" transfer mode.
Recursive retrieval:
-r, --recursive recursive web-suck -- use with care!.
-l, --level=NUMBER maximum recursion depth (0 to unlimit).
--delete-after delete downloaded files.
-k, --convert-links convert non-relative links to relative.
-m, --mirror turn on options suitable for mirroring.
-nr, --dont-remove-listing don't remove `.listing' files.
Recursive accept/reject:
-A, --accept=LIST list of accepted extensions.
-R, --reject=LIST list of rejected extensions.
-D, --domains=LIST list of accepted domains.
--exclude-domains=LIST comma-separated list of rejected domains.
-L, --relative follow relative links only.
--follow-ftp follow FTP links from HTML documents.
-H, --span-hosts go to foreign hosts when recursive.
-I, --include-directories=LIST list of allowed directories.
-X, --exclude-directories=LIST list of excluded directories.
-nh, --no-host-lookup don't DNS-lookup hosts.
-np, --no-parent don't ascend to the parent directory.
Mail bug reports and suggestions to <bug-wget@gnu.org>.
Mail bug reports and suggestions to <bug-wget@gnu.org>.
arent directory.
wget.HLP: No such file or directory
C:\Users\root>
curl
--help
Usage:
curl
[options...] <url>
--abstract-unix-socket <path> Connect via abstract Unix domain socket
--anyauth Pick any authentication method
-a, --append Append to target file when uploading
--basic Use HTTP Basic Authentication
--cacert <CA certificate> CA certificate to verify peer against
--capath <dir> CA directory to verify peer against
-E, --cert <certificate[:password]> Client certificate file and password
--cert-status Verify the status of the server certificate
--cert-type <type> Certificate file type (DER/PEM/ENG)
--ciphers <list of ciphers> SSL ciphers to use
--compressed Request compressed response
-K, --config <file> Read config from a file
--connect-timeout <seconds> Maximum time allowed for connection
--connect-to <HOST1:PORT1:HOST2:PORT2> Connect to host
-C, --continue-at <offset> Resumed transfer offset
-b, --cookie <data> Send cookies from string/file
-c, --cookie-jar <filename> Write cooki
编译完成后,拷贝zconf.h, zlib.h, zutil.h到D:\deps\zlib-1.2.12\include目录下,zconf.h在builds目录下,拷贝builds目录下Release下所有文件至D:\deps\zlib-1.2.12\lib目录下。如下所示,cmake编译完成后,再点击open projecte用vs2019打开项目进行编译。编译好的
curl
在如下目录,包括执行文件和开发用的库文件。3、下载openssl, zlib,
curl
。2、安装ActivePerl。
进入
curl
.exe文件夹,运行命令,如下表示已经成功。
ping命令用来测试主机之间网络的连通性。执行ping指令会使用ICMP传输协议,发出要求回应的信息,若远端主机的网络功能没有问题,就会回应该信息,因而得知该主机运作正常;若远端主机断开网络连接,就不会有回应信息;
curl
命令 即判断自己的服务器S1是否可以访问其他的服务器S2的具体的服务
telnet可以检.
最近使用idea为了方便在terminal中直接通过
curl
命令发送请求,这里需要我们在自己的电脑中安装一下
curl
首先下载
curl
下载地址:https://
curl
.haxx.se/download.html
进入下载页面后使劲往下翻翻翻
一直翻到最后面,LZ的电脑是64位的所以这里选择的是64位版本的包,点击版本号直接下载
下载好了应该是这个样子的
解压后打开自己的解压目录,复制上面的路径
选中我的电脑–> 右击–>属性–> 高级系统设置 ,设置坏境变量
win10
环境
下
curl
连接https会提示
curl
: (1) Protocol https not supported or disabled in lib
curl
。此版本支持
win10
环境
下运行。下载解压到system32目录。
示例
curl
-I -k https://www.baidu.com/。
-k就是允许https连接:Allow insecure server connections when using SSL
要在 Windows 上安装
cURL
,你需要先下载
cURL
的二进制发布版本。你可以在
cURL
官网上找到最新版本的下载链接。
一旦下载完成,你需要解压缩 zip 文件。接下来,你需要将
cURL
的二进制文件复制到一个你想要安装
cURL
的位置,比如说 C:\
curl
或者 C:\Program Files\
curl
。
接下来,你需要将
cURL
的安装路径添加到系统的
环境
变量中。这样,...