如何用python爬取自己视频的av号标题等信息
#代码如下:
# 导入模块
import json
import requests
uid=input("输入您的uid")
for i in range(1,27):
headers = {
'User-Agent': ' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
}
# 包含待爬取信息的url
url = 'https://api.bilibili.com/x/space/arc/search?mid=%s&ps=30&tid=0&pn=%s &keyword=&order=pubdate&jsonp=jsonp' % (uid,i)
# 访问url
r = requests.get(url, headers)
# 将爬取的json格式的数据转化为字典
text = json.loads(r.text)
# 取出嵌套字典里我们想要的部分
res = text['data']['list']['vlist']
for item in res:
# 以列表的形式取出对我们有用的数据
list = ['av' + str(item['aid']), ' 视频标题: ' + item['title']] # 转化为字符串格式
result = ''.join(list)
# 写进文件里
with open('bilibili.txt', 'a+', encoding="utf-8") as f:
f.write(result + '\n')