QQ空间爬取教程

kongyu · 发表于 2024-5-15 02:00:52

selenium模拟登录
QQ空间的反爬做的相对较好，而且由于好友权限的原因，我们要先登录后再进行说说等信息的获取

selenium是获取登录cookies的一大利器，非常方便

在空间的登陆界面可以观察到，登录的窗口与背景窗口是分开的，所以我们需要先切换框架

切换窗口后定位到账号密码登录元素的位置后点击

使用send_keys函数把账号和密码写入对应位置后定位登录元素后点击，这里使用自带的get_cookies函数获取到cookies，但是这个cookies需要过滤一下，具体操作看以下代码

代码为类的部分节选，完整代码在最后，未声明的变量皆为类的成员变量

de login_func（self，z）：
browser = webdriver.Chrome（）
browser.maximize_window（）
browser.get（self.login_url）
time.sleep（1.2）
browser.switch_to.frame（'login_frame'）
browser.find_element_by_id（'switcher_plogin'）.click（）
time.sleep（1）
browser.find_element_by_id（'u'）.send_keys（self.number）
browser.find_element_by_id（'p'）.send_keys（self.password）
time.sleep（1）
browser.find_element_by_id（'login_button'）.click（）
time.sleep（1）
cookies_list = browser.get_cookies（）

for cookie in cookies_list：
if 'name' in cookie and 'value' in cookie：
self.cookies[cookie['name']] = cookie['value']
# print（self.cookies）
with open（'cookie_dict_{}.txt'.format（z），'w'） as f： # 这里是为了一次性多刷几次cookies建立一个cookies池，便于加快爬虫速度，后面再提
json.dump（self.cookies，f）
# browser.close（）

1
2
3
4
5
6
7
8
9
10
11
12
13

14 15

16 17
18
19
20
21
22
说说内容获取
在打开开发者工具后，在众多XHR对象中发现emotion_cgi......里面的msglist即是说说的内容

这里的msglist是个列表，里面有0-20条不等的说说，可能跟空间发的说说的形式问题相关，至多不超过20条

稍微猜测一下这里的参数的含义，一眼明了的我就不说了，我不清楚的也没有肆意揣度

cmtnum 转发数

commentlist 评论列表，里面是每条说说

的内容conlist 内容的一个列表，里面有两个参数，一个是内容一个不知道有啥作用，取内容的话直接取下面的内容也是一样的

created_time 说说发表的时间戳

isEditable 是否编辑过

lbs 位置信息

name 你给的备注，没备注就是昵称

pic 如果发的说说有图片则在这个键下面，但是如果没有图片则没有这个键

pictotal 图片数量，没有图片则没有这个键

rt_sum 猜测是转发数量

source_appid 说说来自的app标识

source_name 说说来自的设备名称

source_url 说说来自的网址

tid这个是每个说说独一无二的标识，可能是根据某些变量使用特定的算法得出的，直接使用即可

uin 该说说的作者QQ

当然如果是转发的说说，这里还会多别的一些键值，我这里未对转发说说进行处理，只是单纯地取出该QQ转发时发送的内容，有兴趣的朋友可以加以改进

下面我们看一下这个内容的获取网址构成

在Headers选项中可以看网址的构成参数

经过尝试发现，uin后面对应目标QQ号，sort可能对应排序方式，我采取的默认值0，pos这是个关键参数，其改变决定了返回数据的范围，num是返回的说说数量，我选用的是默认值，不知道增大会有什么变化，读者可以尝试

最后一个关键参数是g_tk，这是个加密参数，有了这个才能正确登录

破解g_tk
网上的搜索发现是js，破解的方法见下图

随意点开一个人的空间，进行如下操作

搜索g_tk=后面的关键词

找到对应的函数，这里的函数读一下之后将其转成对应的python语言即可

def get_g_tk（self）：
p_skey = self.cookies['p_skey']
t = 5381
for i in p_skey：
t += （t<<5） + ord（i）
return t & 2147483647
1
2
3
4
5
6
说说的评论获取
这里没什么好说的，数据返回是跟说说一起的，在commentlist的键里面，里面的键值对和外面的类似，这里就不赘述了，值得一提的是，外面的cmtnum返回的评论数是指单独的回复数量，也就是跟楼的评论数量不被统计，跟楼的评论在每条父评论的里面，对应键list_3

说说的点赞人获取

框内可以点击，点击后

出现
同时右边出现一个

这里对应的内容为

is_dolike 我是否点赞了

like_uin_info 点赞这条说说的朋友的信息（除我以外

total_number 总共的点赞数量

每位点赞好友里面还有一些信息，我这里就没有赘述，那些键值都看得懂

url参数构成
那么还需要知道的就是url的构成，老方法，先看headers

那tid在哪里呢

之前的msglist里每条说说底下对应都存在一条tid，这里就是它的用武之地了！

好友列表获取
我在网上看到过很多个版本

我自己也都尝试了一下，以下的版本获取到的好友信息与QQ好友是最一致的

进入自己的空间后在设置中点权限设置

找到对应的项，friendlist里面即是，但是只有50条，如果你点开了xxx个QQ好友并向下滚动后查看url构成

就会发现

offset偏移量用来查看更多的好友

，如果是最后一页，返回的字典中的键end的值为1

数据库的存储
由于对数据库的使用不是十分熟练，这里单纯只是为了存一下，有很多弊端，例如图片的存储

而且用的很丑陋，这段代码可以忽略

def check_exist（self，uid）：
cursor = self.conn.cursor（）
cursor.execute（“show databases”）
content = [i[0] for i in cursor.fetchall（）]
if uid not in content：
cursor.execute（'create database '{}';'.format（uid））
cursor.execute（'use '{}';'.format（uid））
msg = '''
创建表 msg
（
id text，
name char（100），
content TEXT，
createtime timestamp，
tid char（32），
location char（32），
posx int（20），
posy int（20），
comment_num int（11），
like_num int（11），
pic_url TEXT，
pic_num int，
source_appidchar（32），
source_name char（32），
is_tran char，
trans_num char（32），
trans_content TEXT
）;
'''
cursor.execute（msg）
cmt = '''
create table comment
（
tid char（32），
id text，
name char（100），
content TEXT，
createtime timestamp，
reply TEXT
）
'''
cursor.execute（cmt）
like_table='''
create table like_table
（
tid char（32），
id text，
name char（100），
addr char（32），
constellation char（32）、
gender char（4）、
if_qq_friend int（1）、
if_special_care int（1）、
is_special_vip int（1）、
portrait TEXT
）
'''
cursor.execute（like_table）
self.conn.commit（）
return 1
else：
return 0

————————————————

ygm2390242357 · 发表于 2024-10-9 11:21:01

大佬可以帮我看下嘛，有偿

账号		自动登录	找回密码
密码			注册[Register]

[分享] QQ空间爬取教程