发布时间：2025-06-24 21:09:06  作者：北方职教升学中心  阅读量：389


Python爬虫获取浏览器中的信息，实际上是模仿浏览器上网的行为。

请求页面

response =requests.get(url,headers=head)

获取想要的数据

我们在爬取图片时，我们在寻找图片的地址，那我们视频的位置在哪里？怎么获取呐？

在这里插入图片描述

第一步点击Element,第二部找到html标签，在该标签下，找到第四个script标签。

UA伪装

同时，对于视频的爬取，网站都是有很强的反爬取能力，所以我们除此以外还需要在申请访问页面时，输入Referer防盗链以及Cookie身份信息（记得登录网站哦！），

在这里插入图片描述

和找寻url时一样，在同一个页面往下滑就能找到页面给的Cookie身份信息。Referer防盗链和Cookie身份信息都放在head中

  • 获取你想要的数据
    1. 在Element获取视频信息
  • 数据解析
    1. 在响应Response中，定位视频的具体位置，请求访问它

    • 特别注意：

    其实与爬取文本和图片区别不大，主要是定位到视频的位置。如下：

    在这里插入图片描述

    这里面就是我们要获取的视频信息啦，前20个字符不需要。上一篇中，我们尝试着爬取了一个网站页面的图片内容，完成获取信息需要完成四步：

    1. 指定url
    2. 发送请求
    3. 获取你想要的数据
    4. 数据解析

    这次我们来试试用同样的方法爬取网站页面的视频看看可以成功吗？

    爬取视频

    我们来试试爬取以下网页的视频：

    https://www.bilibili.com/video/BV12z421z75d/?spm_id_from=333.1007.tianma.2-1-4.click&vd_source=4b1ef23e5d47e143cfb702705740719d

    指定url

    打开开发者控制台，找到页面的url：

    url ="https://www.bilibili.com/video/BV12z421z75d/?spm_id_from=333.1007.tianma.2-1-4.click&vd_source=4b1ef23e5d47e143cfb702705740719d"

    发送请求

    在前前面的内容中，我们提到过，使用fake_useragent包进行UA伪装给自己一个访问身份，其实在页面中有给我们准备好的UA，只是使用fake_useragent包更方便，这次我们爬取视频，用页面给的UA。

    解析定位

    fromlxml importetreetree =etree.HTML(res_text)base_info ="".join(tree.xpath("/html/head/script[4]/text()"))[20:]#前20个字符我们不要#print(base_info)  #可以打印看看，有没有获取数据

    我们看到，视频信息看到的是字典形式，但是获取信息时返回的是字符串形式，我们要将其转换一下：

    info_dict =json.loads(base_info)#将获取到的数据变成字典形式

    因为b站的视频，视频和音频时分开的，所以我们得从信息中分别定位到视频和音频位置。Scrapy 等）而成为实现爬虫的首选语言之一。

    接着往下滑：

    在这里插入图片描述

    同样的，找到Referer防盗链和页面给的UA。发送请求response =requests.get(url,headers=head)# 3、

    总结

    本篇介绍了网页视频的爬取：

    1. 指定url
    2. 发送请求
      1. UA伪装：UA、BeautifulSoup、

        head ={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0"# 防盗链,"Referer":"https://www.bilibili.com/"# 网页自带的防盗链，我们告诉它从哪里向网页发送的请求,"Cookie":"buvid3=C05B40CB-6A34-98BA-39D6-53A15FB1331D09014infoc; b_nut=1721443209; b_lsid=7E252C23_190CE02D1EA; bsource=search_bing; _uuid=2A4DF7DB-1415-18110-810D10-61B6E716441309713infoc; enable_web_push=DISABLE; header_theme_version=undefined; bmg_af_switch=1; bmg_src_def_domain=i1.hdslb.com; buvid_fp=4737552723e0dc057e8798fde01861bc; buvid4=8B3D0C60-C137-8D41-1DA5-4FB60839F89009729-024072002-402qiK5%2F0O1ew%2BiXfV11Kg%3D%3D; home_feed_column=5; browser_resolution=1872-966; CURRENT_FNVAL=4048; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MjE3MDI0MjksImlhdCI6MTcyMTQ0MzE2OSwicGx0IjotMX0.rVZ9CiFYg3l5zrKtSm5jk880b2vYdADHdnTpO64kMog; bili_ticket_expires=1721702369; rpdid=|(J|)|~~|YYl0J'u~kuRRJkRu; SESSDATA=fd47394e%2C1736996380%2C3b724%2A71CjCpXPh-TmqNj96oUDW0altJZ6Iw84xOinBCAAhuZ1G-wxw0FFQR-j2_HvZPJtNgLl0SVmRDc2R6RWg3azBMUzVnVklNRGxBSGVXbWZiT2FydVNZVjM2MU1sQzkzQ3ZYMlNwLTdteUFQby0tWjlSaS1oWkVnbXVfRE8zOEd4VEFQbkNFNktMMVNRIIEC; bili_jct=643bc60a12be959fcaf2a7435e37b218; DedeUserID=152019087; DedeUserID__ckMd5=abf7b9e65385947c; sid=5voxt773"}#自己的网页登录信息

        将页面给的UA、

        网页都有反爬虫意识，反复多次爬取可能会拒绝你获取信息。urlurl ="https://www.bilibili.com/video/BV12z421z75d/?spm_id_from=333.1007.tianma.2-1-4.click&vd_source=4b1ef23e5d47e143cfb702705740719d"#2、数据解析tree =etree.HTML(res_text)withopen("b.html","w",encoding="utf8")asf:f.write(res_text)base_info ="".join(tree.xpath("/html/head/script[4]/text()"))[20:]#前20个字符我们不要# print(base_info)info_dict =json.loads(base_info)#将获取到的数据变成字典形式#定位音视频位置video_url =info_dict["data"]["dash"]['video'][0]["baseUrl"]audio_url =info_dict["data"]["dash"]['audio'][0]["baseUrl"]video_content =requests.get(video_url,head).content audio_content =requests.get(audio_url,head).content withopen("video.wmv","wb")asf:f.write(video_content)withopen("audio.mp4","wb")asfp:fp.write(audio_content)

        爬取成功显示：

        在这里插入图片描述

        查看视频去文件夹中打开查看，由于音视频是分开的，可以通过剪映等视频剪辑软件将他们拼接在一起。

    Referer防盗链和Cookie身份信息都放在head中。

    withopen("video.wmv","wb")asf:f.write(video_content)withopen("audio.mp4","wb")asfp:fp.write(audio_content)

    完整代码实现

    importjsonimportfake_useragentimportrequestsfromlxml importetreeif__name__ =='__main__':head ={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0"# 防盗链,"Referer":"https://www.bilibili.com/"# 网页自带的防盗链，我们告诉它从哪里向网页发送的请求,"Cookie":"buvid3=C05B40CB-6A34-98BA-39D6-53A15FB1331D09014infoc; b_nut=1721443209; b_lsid=7E252C23_190CE02D1EA; bsource=search_bing; _uuid=2A4DF7DB-1415-18110-810D10-61B6E716441309713infoc; enable_web_push=DISABLE; header_theme_version=undefined; bmg_af_switch=1; bmg_src_def_domain=i1.hdslb.com; buvid_fp=4737552723e0dc057e8798fde01861bc; buvid4=8B3D0C60-C137-8D41-1DA5-4FB60839F89009729-024072002-402qiK5%2F0O1ew%2BiXfV11Kg%3D%3D; home_feed_column=5; browser_resolution=1872-966; CURRENT_FNVAL=4048; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MjE3MDI0MjksImlhdCI6MTcyMTQ0MzE2OSwicGx0IjotMX0.rVZ9CiFYg3l5zrKtSm5jk880b2vYdADHdnTpO64kMog; bili_ticket_expires=1721702369; rpdid=|(J|)|~~|YYl0J'u~kuRRJkRu; SESSDATA=fd47394e%2C1736996380%2C3b724%2A71CjCpXPh-TmqNj96oUDW0altJZ6Iw84xOinBCAAhuZ1G-wxw0FFQR-j2_HvZPJtNgLl0SVmRDc2R6RWg3azBMUzVnVklNRGxBSGVXbWZiT2FydVNZVjM2MU1sQzkzQ3ZYMlNwLTdteUFQby0tWjlSaS1oWkVnbXVfRE8zOEd4VEFQbkNFNktMMVNRIIEC; bili_jct=643bc60a12be959fcaf2a7435e37b218; DedeUserID=152019087; DedeUserID__ckMd5=abf7b9e65385947c; sid=5voxt773"}#自己的网页登录信息# 1、
    文章目录
    • 爬虫
    • 爬取视频
      • 指定url
      • 发送请求
        • UA伪装
        • 请求页面
      • 获取想要的数据
        • 解析定位
        • 定位音视频位置
    • 存放视频
    • 完整代码实现
    • 总结
    爬虫
    Python 爬虫是一种自动化工具，用于从互联网上抓取网页数据并提取有用的信息。Python 因其简洁的语法和丰富的库支持（如 requests、获取想要的数据res_text =response.text    # 4、但是这个信息密密麻麻的看起来很不方便，我们去响应Response中寻找它：
    在这里插入图片描述
    在这里插入图片描述
    打开响应Response，然后找到第四个script标签，我们能看到有个video标签，获取音频url，同样的在第四个script标签下面还有audio视频url。
    定位音视频位置
    这样我们对视频与音频的位置进行访问（记住！！获取的数据已经被转换成字典了！！）：
    #字典的取值是通过取健的位置得到值：以下代码理解为：在data中取dash的值，然后再dash的值中取video的值………………最后取到音视频urlvideo_url =info_dict["data"]["dash"]['video'][0]["baseUrl"]audio_url =info_dict["data"]["dash"]['audio'][0]["baseUrl"]video_content =requests.get(video_url,head).content	#和图片一样，访问后用content接收存储audio_content =requests.get(audio_url,head).content
    存放视频
    with open()可以自己创建文件存放。
    
                        
                        
    
                    
    
					                        
     上一篇：免费试玩卡牌游戏版:享受策略乐趣
    
                                            
     下一篇：功能性光刻胶实现了大规模集成有机芯片制造