前言：
本程序可以提取QQ群成员信息保存到Excel表中，方便日后处理。
根据本人实际测试，部分群可能会无法提取，也不知道是啥情况，不过可以提取80%以上的群吧。
正文：
1-1、Python爬虫代码：
# 导入需要的包
# 爬取qq群的成员信息
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import time
from xlwt import *
# 开始登陆
def login_spider():
url = 'https://qun.qq.com/'
# 构建谷歌驱动器
chrome_driver = 'C:/Users/13102/Desktop/11111/chromedriver.exe' # chromedriver的文件位置
# driver = Chrome(executable_path=chrome_driver)
browser = webdriver.Chrome(executable_path=chrome_driver)
# 请求url
browser.get(url)
# 模拟登陆，首先找到登陆的id，并点击
browser.find_element_by_css_selector('#headerInfo p a').click()
# 点击之后会弹出一个登陆框，这时候我们用显示等待来等待这个登陆框加载出来
WebDriverWait(browser, 1000).until(
EC.presence_of_all_elements_located(
(By.CSS_SELECTOR, '#loginWin iframe')
)
)
print('登陆框已加载')
# 登陆框加载之后，我们发现整个登陆框其实就是另一个网网页
# 如果在原网页操作这个登陆框的话，是不能操作的
# 所以我们只需要提取iframe标签的src属性，然后再去访问这个url即可实现
# 自动登陆
# 找到iframe标签并获取是如此熟悉
iframe_url = browser.find_element_by_css_selector('#loginWin iframe').get_attribute('src')
# 再访问这个url
browser.get(iframe_url)
# 找到快捷登陆的头像并点击
# 首先用显示等待这个头像已经加载完成
WebDriverWait(browser, 1000).until(
EC.presence_of_all_elements_located(
(By.ID, 'qlogin_list')
)
)
browser.find_element_by_css_selector('#qlogin_list a').click()
print('登陆成功')
return browser
# 切换句柄操作
def switch_spider(browser):
# 登陆成功之后，我们就找到群管理的标签并点击,首先等待这个元素加载完成
WebDriverWait(browser, 1000).until(
EC.presence_of_all_elements_located(
(By.XPATH, './/ul[@id="headerNav"]/li[4]')
)
)
browser.find_element_by_xpath('.//ul[@id="headerNav"]/li[4]').click()
# 点击之后，我们找到成员管理标签并点击
WebDriverWait(browser, 1000).until(
EC.presence_of_all_elements_located(
(By.CLASS_NAME, 'color-tit')
)
)
browser.find_element_by_class_name('color-tit').click()
# 打印全部窗口句柄
# print(browser.window_handles)
# 打印当前窗口句柄
# print(browser.current_window_handle)
# 注意这里点击成员管理之后会自动跳转到一个新窗口打开这个页面
# 所以我们需要将窗口句柄切换到这个新窗口
browser.switch_to.window(browser.window_handles[1])
# 解释一下browser.switch_to.window是获取当前一共有几个窗口
# 这里是2个
# browser.switch_to.window这个是指定当前游标切换到哪个窗口
# 其实也可以这么写
# all_window = browser.switch_to.window返回的是一个列表
# browser.switch_to.window(all_window[1])
# 效果是一样的
return browser
def getValues(browser,lis,qunName,qunNum):
print(lis.get_attribute("title"))
# 显示等待信息加载完成
WebDriverWait(browser, 1000).until(
EC.presence_of_all_elements_located(
(By.CLASS_NAME, 'list')
)
)
# 获取该群当前有多少人，后面翻页需要
groupMemberNum = eval(browser.find_element_by_id('groupMemberNum').text)
# 每一次翻页都会刷新21条信息，所以写个循环
# 这里加1是因为假如一个群有36人，那么count=1，如果循环的话就不会翻页了
# 也就是只能抓到一页的数据，大家可以自己想想其中的流程就知道了
count = groupMemberNum // 21 + 1
# 这里我只爬取每个群的一部分，如果想爬取全部成员信息
# 每次循环都进行翻页
while count:
count -= 1
browser.execute_script('document.documentElement.scrollTop=100000')
time.sleep(2)
time.sleep(3)
# 开始获取成员信息
trs = browser.find_elements_by_class_name('mb')
if trs:
# 遍历
data_list = []
for tr in trs:
tds = tr.find_elements_by_tag_name('td')[1:]
if len(tds) == 9:
# 编号
bianhao = tds[0].text
# 成员
qq_name = tds[1].text
# 群名称
group_name = tds[2].text
# qq号
qq_number = tds[3].text
# 性别
gender = tds[4].text
# qq年龄
qq_year = tds[5].text
# 入群时间
join_time = tds[6].text
# 最后发言时间
end_time = tds[7].text
# 声明一个字典存储数据
data_dict = {}
data_dict['编号'] = bianhao
data_dict['成员'] = qq_name
data_dict['群昵称'] = group_name
data_dict['QQ号'] = qq_number
data_dict['性别'] = gender
data_dict['Q龄'] = qq_year
data_dict['入群时间'] = join_time
data_dict['最后发言'] = end_time
data_list.append(data_dict)
print(data_dict)
elif len(tds) == 10:
# 编号
bianhao = tds[0].text
# 成员
qq_name = tds[1].text
# 群名称
group_name = tds[2].text
# qq号
qq_number = tds[3].text
# 性别
gender = tds[4].text
# qq年龄
qq_year = tds[5].text
# 入群时间
join_time = tds[6].text
# 最后发言时间
end_time = tds[8].text
# 声明一个字典存储数据
data_dict = {}
data_dict['编号'] = bianhao
data_dict['成员'] = qq_name
data_dict['群昵称'] = group_name
data_dict['QQ号'] = qq_number
data_dict['性别'] = gender
data_dict['Q龄'] = qq_year
data_dict['入群时间'] = join_time
data_dict['最后发言'] = end_time
data_list.append(data_dict)
print(data_dict)
writeToExcel(qunName, data_list, qunNum)
# 开始采集数据
def start_spider(browser):
# 声明一个列表存储字典
finalResult = {}
qunNums = []
# 切换句柄之后，我们显示等待窗口出来
WebDriverWait(browser, 1000).until(
EC.presence_of_all_elements_located(
(By.CLASS_NAME, 'my-all-group')
)
)
# 筛选出我加入的群标签
lis = browser.find_elements_by_xpath('.//div[@class="my-all-group"]/ul/li')
# 遍历
num = 0
flag = False
qunNums = readTxt("C:/Users/13102/Desktop/11111/QQSpider/群号.txt")#此处要根据自己电脑上的文件位置进行修改
print(qunNums)
if qunNums != []:
flag = True
# filePath = input("请输入文件的保存路径(输入/，不是\)：")
while True:
if num == len(lis):
break
try:
# 按顺序选择群并获取信息
# 先点击该群获取成员信息
qunName = lis[num].get_attribute("title")
qunNum = lis[num].get_attribute("data-id")
lis[num].click()
if flag:
if qunNum in qunNums:
getValues(browser, lis[num], qunName, qunNum)
else:
getValues(browser, lis[num], qunName, qunNum)
# print(lis[num].get_attribute("title"))
# # 显示等待信息加载完成
# WebDriverWait(browser, 1000).until(
# EC.presence_of_all_elements_located(
# (By.CLASS_NAME, 'list')
# )
# )
# # 获取该群当前有多少人，后面翻页需要
# groupMemberNum = eval(browser.find_element_by_id('groupMemberNum').text)
# # 每一次翻页都会刷新21条信息，所以写个循环
# # 这里加1是因为假如一个群有36人，那么count=1，如果循环的话就不会翻页了
# # 也就是只能抓到一页的数据，大家可以自己想想其中的流程就知道了
# count = groupMemberNum // 21 + 1
# # 这里我只爬取每个群的一部分，如果想爬取全部成员信息
#
# # 每次循环都进行翻页
# while count:
# count -= 1
# browser.execute_script('document.documentElement.scrollTop=100000')
# time.sleep(2)
# time.sleep(3)
# # 开始获取成员信息
# trs = browser.find_elements_by_class_name('mb')
# if trs:
# # 遍历
# data_list = []
# for tr in trs:
# tds = tr.find_elements_by_tag_name('td')[1:]
# if len(tds) == 9:
# #编号
# bianhao = tds[0].text
# # 成员
# qq_name = tds[1].text
# # 群名称
# group_name = tds[2].text
# # qq号
# qq_number = tds[3].text
# # 性别
# gender = tds[4].text
# # qq年龄
# qq_year = tds[5].text
# # 入群时间
# join_time = tds[6].text
# # 最后发言时间
# end_time = tds[7].text
#
# # 声明一个字典存储数据
# data_dict = {}
# data_dict['编号'] = bianhao
# data_dict['成员'] = qq_name
# data_dict['群昵称'] = group_name
# data_dict['QQ号'] = qq_number
# data_dict['性别'] = gender
# data_dict['Q龄'] = qq_year
# data_dict['入群时间'] = join_time
# data_dict['最后发言'] = end_time
# data_list.append(data_dict)
# print(data_dict)
# elif len(tds) == 10:
# # 编号
# bianhao = tds[0].text
# # 成员
# qq_name = tds[1].text
# # 群名称
# group_name = tds[2].text
# # qq号
# qq_number = tds[3].text
# # 性别
# gender = tds[4].text
# # qq年龄
# qq_year = tds[5].text
# # 入群时间
# join_time = tds[6].text
# # 最后发言时间
# end_time = tds[8].text
#
# # 声明一个字典存储数据
# data_dict = {}
# data_dict['编号'] = bianhao
# data_dict['成员'] = qq_name
# data_dict['群昵称'] = group_name
# data_dict['QQ号'] = qq_number
# data_dict['性别'] = gender
# data_dict['Q龄'] = qq_year
# data_dict['入群时间'] = join_time
# data_dict['最后发言'] = end_time
# data_list.append(data_dict)
#
# print(data_dict)
# writeToExcel(qunName,data_list,qunNum)
browser.find_element_by_id('changeGroup').click()
time.sleep(3)
WebDriverWait(browser, 1000).until(
EC.presence_of_all_elements_located(
(By.CLASS_NAME, 'ui-dialog')
)
)
lis = browser.find_elements_by_xpath('.//div[@class="my-all-group"]/ul/li')
num += 1
except Exception as e:
continue
return finalResult,qunNums
def readTxt(fileName):
qunNums = []
with open(fileName,"r") as fp:
for line in fp.readlines():
qunNums.append(line.strip())
return qunNums
def writeToExcel(qunName,dataList,qunNum):
work_book = Workbook(encoding="utf-8")
table = work_book.add_sheet("data")
table.write(0,0,qunName)
table.write(0,1,qunNum)
j = 0
for key in dataList[0].keys():
table.write(1, j, key)
j = j + 1
i = 2
for value in dataList:
j = 0
for key in value.keys():
table.write(i, j, value.get(key))
j = j + 1
i = i + 1
work_book.save("C:/Users/13102/Desktop/11111/QQSpider/data/"+qunName+qunNum+".xls")
print("写入"+"C:/Users/13102/Desktop/11111/QQSpider/data/"+qunName+qunNum+".xls完成")
def main():
browser = login_spider()
browser = switch_spider(browser)
finalResult,qunNums = start_spider(browser)
#i = 0
#for key in finalResult.keys():
# writeToExcel(key,finalResult[key],qunNums[i])
# i = i + 1
print('excel文件写入完成')
if __name__ == '__main__':
main()
1-2、把上述代码复制到TXT记事本里，然后并更改重命名为：QQSpider.py，保存并退出
1-3、在同目录下建立一个data文件夹，用于存放提取出来的数据
1-4、在同目录下建立TXT记事本，并重命名为：群号.txt
1-5、下载Python3.8，点击下载
1-7、安装Python后一定要添加Windows环境变量给Python。
C:\Program Files\Python38 C:\Program Files\Python38\Scripts
Tip：记得修改为Python实际工作目录。是系统变量，不是用户变量。
1-8、下载Chrome driver程序：下载地址（选择与自己Chrome浏览器版本相近的版本）
1-9、下载完毕后无需打开本程序运行，只需要把此程序的目录输入到以上脚本里，即可。
1-10、打开CMD命令窗口输入以下命令：
pip install --user selenium pip install --user xlwt
1-11、登录自己的QQ，然后可以在群号.txt里输入需要提取的群号，然后保存（如果不输入，则会全部提取）。
1-12、运行方法：在CMD命令窗口里输入python 程序目录，即可运行此程序。