分享好友 最新动态首页 最新动态分类 切换频道
通过搜索内容下载B站视频案例
2024-11-07 22:12

爬虫经典老四步

1.分析网页
2.对网页发送请求,获取响应
3.提取解析数据
4.保存数据

本案例所用到的模块

通过搜索内容下载B站视频案例

 

一、分析网页

b站有两种找到接口的情况,如果你是在主页搜索输入需要搜索的内容的话,网站会自动跳转到另一个页面,经过分析,这个页面里面的数据,获取到的数据是html的源码数据,这次本案例不对html这个源码数据进行讲解。我们需要找到的是b站的另一个有数据的接口,这个接口里面的数据是json数据,这个接口如果你直接找,是找不到的,有个方法,你只需要在翻页的地方,点击访问下一页的数据就可以找到这个接口了,如图在这里插入图片描述 在这里插入图片描述 通过分析这个接口网址,我们可以看到这是一个这个网址里面的数据是json数据在这里插入图片描述

数据网址有了,现在就是分析这个网址了,我们可以看到这个网址里面有很多参数在这里插入图片描述

page这个参数就是网页翻页需要的参数,keyword这个参数就是需要搜索的内容,也就是说我们在这里输入自己想找的内容,就会有关于这个内容的信息。

通过上面的一系列分析,我的思路是,对接口地址发送请求,获取到响应数据,提取出每个视频的url地址,然后通过you-get这个模块工具,进行下载视频。

二、构建params参数

 

三、通过构建好的参数,发送请求,获取响应

 

四、解析提取每个视频的url地址

 

五、通过you-get模块下载视频

 

因为如果要用you-get这个模块下载视频,需要在命令行下输入命令才能执行,所以我会先通过sys这个模块里面的sys.argv这个内置方法,该方法可以让代码在命令行下输入命令执行,然后就可以执行you-get了,you-get模块有一个好处,就是不需要提取视频的名字,它会自动帮你解析出来视频的名字,然后自动命名到你保存的视频中。

效果展示在这里插入图片描述 在这里插入图片描述 在这里插入图片描述

可以看到它会有自己的进度条显示,有该视频信息的显示,有该视频的清晰度,这个就是you-get的强大之处。目前You-Get可以下载的网站有很多,比如国外的Youtube、Vimeo、Tumblr、Instagram等,国内的爱奇艺、优酷、乐视、哔哩哔哩,感兴趣的可以自己试试。

六、完整代码

最新文章
谷歌SEO中,如何轻松获得高排名?
在当下这个信息爆炸的时代,每一个企业或个人都渴望自己的网站能在谷歌搜索引擎中脱颖而出,获得更高的排名,从而吸引更多的流量和潜在客户。基于我多年的实战经验和对SEO行业的深刻理解,我发现,要想在谷歌SEO中轻松获得高排名,并非一朝
谷歌SEO里,你既爱又恨的SEO工具是什么?
在SEO行业的摸爬滚打中,我逐渐发现,那些让人又爱又恨的工具,往往是最具争议也是最有效的。今天,我们就来聊聊我在谷歌SEO实战中,对某个既爱又恨的SEO工具的深刻体会。一、谷歌SEO里,我难以割舍的双刃剑作为一名SEO老鸟,我深知每个工
揭秘2024新奥资料,免费获取精准资源全攻略
随着科技的飞速发展和信息时代的到来,资料获取变得日益重要,对于即将迈入新奥时代的我们来说,掌握一手的、精准的2024新奥资料,无疑将为我们的发展带来巨大的优势,本文将为您详细介绍如何免费获取这些精准资料,助您在新奥时代站稳脚跟
域名收录 批量查询域名收录的方法
互联网世界是一个庞大而复杂的网络,每天都有数以亿计的网页在其中产生、消失,网站的排名与权重更是对于一个网站的存在和发展至关重要。但是,对于普通用户来说,如何了解一个网站的真实情况?如何判断一个网站的价值与可信度?这就需要借
生成式人工智能赋能社区教育
生成式人工智能(以下简称AI)为主要特征的第四次科技革命,将对我国社区教育产生全方位的冲击及影响,成为未来社区教育变革的重要推手。研究AI驱动的社区教育变革特征,剖析未来面临的现实挑战,阐明应对策略,对促进我国未来社区教育高质
ai创作产品设计怎么用ps打开及文件操作指南
随着科技的不断发展人工智能()在设计领域的应用越来越广泛多设计师开始借助技术实创作。本文将为您详细介绍怎么样采用Photoshop(PS)打开创作的设计文件以及实文件操作的方法。创作设计是指利用人工智能技术,通过算法和模型对设计元素
网站改造大揭秘:如何让你的网站百度收录量大幅攀升?
一、优化网站结构在此次设计改造中,首先对整个网站架构作了深度优化。我们力求以科学合理的布局和清晰明了的导航指引,让使用者可以快速获取所需信息,提升了用户体验的满足感。此外,我们也将网页加载速度作为重点考虑因素,希望能为大家
长尾关键词搜索,挖掘用户需求之秘密利器!
摘要:长尾关键词搜索是一种有效的挖掘潜在需求的方法,它能够帮助企业发现并利用那些不太被关注但具有特定用户群体的关键词。通过长尾关键词搜索,企业可以深入了解用户的兴趣和需求,进而优化产品和服务,满足用户的个性化需求。这一秘密
百度推广怎么做关键词优化,效果更好?
在互联网营销这片浩瀚的海洋中,百度推广无疑是众多企业扬帆起航的重要平台。作为一名在数字营销领域摸爬滚打多年的实践者,我深知关键词优化对于百度推广效果的重要性。今天,我将结合过往的实战经验,与大家分享如何精准地优化关键词,让
江西南昌seo网站优化
江西南昌SEO网站优化 - 南昌网站排名优化公司南昌SEO网站优化,是指通过优化网站的结构、内容、代码和外部链接等因素,提升网站在搜索引擎中的排名,从而增加网站的曝光度、流量和转化率。作为江西省南昌市的一家专业网站排名优化公司,我
相关文章
推荐文章
发表评论
0评