-
Notifications
You must be signed in to change notification settings - Fork 1
/
Copy path34_request_cookie登陆古诗文网.py
105 lines (76 loc) · 3.29 KB
/
34_request_cookie登陆古诗文网.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
# 通过登陆 进入到主页面
# 通过找登陆接口发现登陆时候需要的参数很多在login中找
# __VIEWSTATE: kBeYlQh4JeI1J7uQdLrUffn6FHUW2mJE8dKQYKQypdnw4kIi6ZE63qg6WoLKkbeVKkpzY+XGF3E2dB/e4nViUEKrd7gvgC4uyMiNOUcKptmPrYXxO0hgkpyZhIQ=
# __VIEWSTATEGENERATOR: C93BE1AE
# from: http://so.gushiwen.cn/user/collect.aspx
# email: [email protected]
# pwd: 1233312
# code: z0x6
# denglu: 登录
# 观察到__VIEWSTATE， __VIEWSTATEGENERATOR，以及code是变化的
# 难点：（1）__VIEWSTATE， __VIEWSTATEGENERATOR 一般情况下看不到的数据都在页面的源码中
# 观察到两个数据在页面的源码中，因此我们需要获取页面的源码然后进行解析就可以了
# （2）验证码
import time
import urllib.request
from bs4 import BeautifulSoup
import requests
from chaojiying import Chaojiying_Client
# 登陆页面的Url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36'
}
proxy = {
'http://': '27.44.214.169:4245'
}
# 获取页面的源码
response = requests.get(url=url, headers=headers, proxies=proxy)
content = response.text
# print(content)
# 解析页面源码获取__VIEWSTATE， __VIEWSTATEGENERATOR的值
soup = BeautifulSoup(content, 'lxml')
# 获取__VIEWSTATE
viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')
# 获取__VIEWSTATEGENERATOR的值
viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')
# 获取验证码图片
code = soup.select('#imgCode')[0].attrs.get('src')
# print(code)
code_url = 'https://so.gushiwen.cn'+code
# print(code_url)
# 有坑
# urllib.request.urlretrieve(url=code_url, filename='code.jpg')
# requests里面有一个方法交session(),通过session的返回值就能使得请求变成对象
session = requests.session()
# 验证码的url的内容
response_code = session.get(code_url)
# 注意此时要使用二进制数据，因为我们要使用图片的瞎子啊
content_code = response_code.content
# wb模式是将二进制数据写入文件
with open('code.jpg', 'wb')as fp:
fp.write(content_code)
# time.sleep(3)
chaojiying = Chaojiying_Client(
'action', 'action', '922587') # 用户中心>>软件ID 生成一个替换 96001
im = open('code.jpg', 'rb').read() # 本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
# 1902 验证码类型 官方网站>>价格体系 3.4+版 print 后要加()
code_num = chaojiying.PostPic(im, 1902).get('pic_str')
# 获取验证码的图片之后下载到本地观察验证码在控制台输入验证码可以将值赋给code参数
code_name = code_num
# print(code_name)
# 点击登录
url_post = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
data_post = {
'__VIEWSTATE': viewstate,
'__VIEWSTATEGENERATOR': viewstategenerator,
'from': 'http://so.gushiwen.cn/user/collect.aspx',
'email': '[email protected]',
'pwd': '2bldhbfh',
'code': str(code_name),
'denglu': '登录',
}
response_post = session.post(url=url, headers=headers, data=data_post)
content_post = response_post.text
with open('gushiwen.html', 'w', encoding='utf-8')as fp:
fp.write(content_post)