相信p站对于许多老司机来说都不陌生，我们在浏览p站时遇到喜欢的图片一张张的保存 往往是很费劲的。那么如何解决这个问题？
邦邦卡邦~~ 爱丽丝 爬虫闪亮登场 下面将介绍如何用爬虫爬取p站图片
我们输入搜索关键词搜索后抓到以下接口
然后……
import reimport requestsimport jsonimport osimport requestsfrom concurrent.futures import ThreadPoolExecutorfrom lxml import etreefrom multiprocessing import Process, Queuefrom urllib import parseimport refrom progress.bar import Barfrom tqdm import tqdmfrom requests.exceptions import RequestExceptionfrom concurrent.futures import ThreadPoolExecutorfrom threading import Threa ...
我们可以搜索指定关键词的视频进行批量评论需要注意的是，不能直接在控制台元素中直接复制xpath路径，网站显示的是后期渲染上去的，与我们爬取网站的源码是不一样的然后我们需要对得到的bvlist(bv号)在加工处理一下转化为oid获取到oid后找到评论api，我就懒得上图了，把源码附上了我把爬bv的代码放下面
etre=etree.HTML(response)bvs=etre.xpath('//li[@class="video-item matrix"]/a/@href')for bv in bvs: i+=1 bvlist=bv.split('/')[-1].split("?")[0] #获取aid/oid url=f'https://api.bilibili.com/x/web-interface/view?bvid={bvlist}' bq=requests.get(url=url,headers=cheader).json() ...
