Python爬虫项目实战（二）：爬取微博热搜榜

君君大眼睛

前言网络爬虫（WebCrawler），也称为网页蜘蛛（WebSpider）或网页机器人（WebBot），是一种按照既定规则自动浏览网络并提取信息的程序。爬虫的主要用途包括数据采集、网络索引、内容抓取等。爬虫的基本原理种子URL：爬虫从一个或多个种子URL开始，这些URL是起点。发送请求：爬虫向这些种子URL发送HTTP请求，通常是GET请求。获取响应：服务器返回网页的HTML内容作为响应。解析内容：爬虫解析HTML内容，提取所需的数据（如文本、链接、图片等）。提取链接：从网页中提取出所有链接，并将这些链接加入待访问队列。重复过程：爬虫重复上述步骤，直到达到某个停止条件，如爬取了一定数量的页面，或所有页面都被爬取完毕。爬虫的分类通用爬虫设计用于抓取整个互联网的大量网页。搜索引擎（如Google、Bing）的爬虫就是通用爬虫。聚焦爬虫专注于特定主题或领域，抓取相关网页。比如，一个新闻爬虫只抓取新闻网站的内容。增量爬虫仅抓取自上次爬取以来发生变化或更新的网页，适用于动态内容更新频繁的网站。爬虫的合法性和道德在编写和运行爬虫时，必须遵循以下原则：遵守网站的robots.txt：大多数网站都有一个robots.txt文件，规定了哪些页面允许被爬取，哪些不允许。爬虫应当尊重这些规则。避免过度抓取：设置适当的抓取频率，避免对服务器造成过大负担。尊重版权和隐私：不应抓取或使用受版权保护的内容，或涉及用户隐私的数据。获取许可：在某些情况下，最好获得网站管理员的许可，特别是当你打算频繁地抓取大量数据时。通过以上方法和原则，可以编写高效、可靠且合规的网络爬虫来满足数据采集的需求。 侦察这个比较简单，直接抓包就可以看到数据来源保存请求网址 检查数据在页面标签中的位置在td-02中 热度在span中源代码importparselimportcsvimportrequests#创建csv文件#'a'表示以追加模式（appendmode）打开文件#newline=''的作用是确保在写入文件时，所有的换行符都使用'\n'f=open('res.csv','a',encoding='utf-8',newline='')#csv.DictWriter类用于将字典格式的数据写入CSV文件#每个字典表示一行，字典的键对应CSV文件的列名csv_writer=csv.DictWriter(f,fieldnames=['排名','','热度'])#写入表头行，包含指定的字段名csv_writer.writeheader()#请求地址url='https://s.weibo.com/top/summary?cate=realtimehot'#伪造请求头及cookieheaders={'cookie':'SUB=_2AkMR8Bzkf8NxqwFRmf0XzGvjb4x3zwHEieKnrO0_JRMxHRl-yT9kqmMHtRB6OnAyC3ZtjaT5q1jwM0_aHrCMEvlnAj-o;SUBP=0033WrSXqPxfM72-Ws9jqgMF55529P9D9WFTP2MxWPjMdfqH2lQ8Jx9_;_s_tentry=passport.weibo.com;Apache=9034410052178.598.1722586067660;SINAGLOBAL=9034410052178.598.1722586067660;ULV=1722586067671:1:1:1:9034410052178.598.1722586067660:','user-agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/127.0.0.0Safari/537.36'}response=requests.get(url,headers=headers)#使用parsel.Selector类将响应文本传递给Selector对象#Selector对象能够解析和处理HTML或XML文本selector=parsel.Selector(response.text)#选择中的tbody中的trtrs=selector.css('#pl_top_realtimehottbodytr')#定义排序num=1fortrintrs:#.get()方法从SelectorList中提取第一个匹配项的内容。如果没有匹配项，它将返回None#获取热搜title=tr.css('.td-02a::text').get()#获取热搜热度hot=tr.css('.td-02span::text').get()#创建字典保存数据dic={'排名':num,'':title,'热度':hot,}print(dic)#writerow写入数据csv_writer.writerow(dic)num+=1项目效果