1 此
文不是关于黑客或安全话题的!
2 使
用脚本程序发送GET或POST,这是最简单也是最常见最频繁的事情之一;那为什么我还要YY一遍呢? 因为不只是熟能生巧,熟还能生出好多东西来呢,就看是和谁生!
3 我
想有必要再次温习一遍HTTP协议及GET/POST请求相应内容与格式等基础知识的;不过我不会在此简述,希望你去看看那些诸如“当你使用浏览器打开一个URL,究竟发生了哪些事”这样的文章吧!
4 py
thon发送GET/POST可能涉及的lib: urllib, urllib2, cookielib ;至于其他的诸如处理HTML等不在本话题范围内:)
5 请
求google.com的首页:
>>>
print
urllib2.urlopen(
'http://google.com'
).read()
以上是hello world级别了;但geek程序员往往会通过此发现,打印出的东西,因URL而异 --- 废话,当然不是说内容,是指风格!!! 优秀的站点,其源码往往也在各个方面高一个水准,包括unicode编码、安全、性能等等方面。
下载GOOGLE的LOGO文件
open(
'd:\\temp\\google-logo.gif'
,
'wb'
).write(urllib2.urlopen(
'http://www.google.com/images/logo_sm.gif'
).read())
6 模
拟浏览器打开某个登录URL,并通过POST成功登录:
(1 这个问题的情况比较特殊,所以我打算写一个稍微全面点的,以尽可能涵盖常见情况,包括但不限于:cookies ,密码加密发送,https,简单验证码,ip限制,充分假装浏览器等等。
(2 POST请求发送的最小形式:
>>>
import
urllib
>>>
import
urllib2
>>>
import
cookielib
>>> cj = cookielib.CookieJar()
>>> opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
>>> opener.addheaders = [(
'User-agent'
,
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
)]
>>> urllib2.install_opener(opener)
>>> req = urllib2.Request(
"http://xxoo.com"
,urllib.urlencode({
"username"
:
"root"
,
"password"
:
"ROOTXXOO"
}))
>>> req.add_header(
"Referer"
,
"http://xxoo.com"
)
>>> resp = urllib2.urlopen(req)
>>>
print
resp.read()
(3 一些注意事项或最佳实践:
A
是否因为cookie的问题而POST失败,最好使用真的浏览器登录,然后使用firebug这样的调试工具来查看实际的请求与响应头信息,以及cookie数据!
B
除了cookie之外,还有很多其他方法来达到一些安全或其他目的;cookie能保存的数据就4k,而且对客户端完全开放。
C
其实第一件重要的事情是阅读源码,肉眼解析出form及其action和参数等;搞清楚逻辑,再去模拟;但这一步往往是最开始的斗智斗勇阶段;有些程序员 总是使用小把戏来调戏你,比如追加无意义参数,追加随机数并命名为看上去像业务数据的变量等,还有人喜欢玩数学,比如搞质数运算等。
D
验证码问题:分很多种,有的程序员比较嫩,所以你可以分析下绕过;而一般的安全验证码,则需要你自己多请求一些验证码回来建库,做特征识别;至于很变态的验证码,建议你放弃这个思路,不要非去识别不可!
E
网上流传的discuz!模拟登录,其实都大多是理论;真正的程序都在那些专业发帖公司那里。
F
我本来想贴一个真实的代码出来,但是担心和谐问题,所以还是作罢!
7 熟
练地掌握这些东西可以做什么?
答:这只是一种方式和途径,或者说一种小伎俩;做什么是你自己的事哦,能做什么就是方法本身的事了!!!低调地说,我用这个干过:刷票(投票的,刷 人气的,耍点击率的,抽奖的...);突破限制完全下载整站数据(区别于爬虫哦);专业数据库的数据COPY;其他不和谐的勾当。。。
8 其
实只要你够geek,几乎能用curl搞定大多数问题。不过往往,我们更应该将精力放在解决问题上,而不是解决问题的工具上!
2011-6-7 更新
关于验证码的问题:
1 有很多很多的人都想搞这个验证码,比如想破解,比如想写机器人,等等
2 验证码的问题我觉得就两张思路: 绕过,识别; 其中绕过的条件是机制本身有漏洞,识别又分自动识别和人工识别
3 不是所有场合都一定需要破解验证码才能继续,比如有的时候只需要人工识别即可: 一个半自动化的机器人,在需要填写验证码时,把验证码图片给出(甚至可以发送到email或者手机上),人工识别并返回,机器人提交并继续工作 - 这是很理想也很底代价的方式之一 。
当然,如果你非要破解验证码不可,那就搞特征库并比对识别喽。具体思路也很简单,而且个人建议不要重头来写,用开源的即可:
1 大量读取验证码图片,建立原始数据库;
2 分析并提取特征,比如有的验证码图片很简单,就几个数字而已,你抓2W个图片拿下来分析一下,基本八九不离十了,都可以识别出;
3 程序里遇到验证码的时候,拿图片去特征数据库比对,得到结果。
4 主意事项:比如图片中字符的分隔,比如容错,比如干扰因素的排除,比如对于类似google验证码的那种扭曲等变换,就要麻烦了。。。