您的位置：首页技术文章
文章详情页

python - scrapy 处理 文章 分页的内容

浏览：124日期：2022-08-03 16:15:10

问题描述

如一篇文章有2-3页，然后想把这些内容页爬下来，拼接成一页，然后再放入数据库。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一页的内容。大概怎么写呢？

问题解答

回答1：

找到分页接口url

回答2：

找到那个下一页的链接，加入到爬取url列表中

回答3：

可以在rules里面写正则自动扫描符合的url

标签： Python 编程
上一条：python - 如何让dataframe A 的一列与dataframe B的一列相减 相加结果记到A的c列？下一条：乱码 - VS2013+PTVS，python编码问题
相关文章：
1. ddos - apache日志很多其它网址，什么情况？2. boot2docker无法启动3. javascript - 调微信分享朋友接口，出现下面问题，求解答，4. javascript - 关于audio标签暂停的问题5. css - weui 用伪元素生成border，源码有点不理解6. java - list<Map<String, Object>> 排序7. webpack - vue-cli写的项目（本地跑没有问题），准备放到Nginx服务器上，有什么配置需要改的？还有怎么部署？8. 微信公众号发送模板消息返回错误410009. 这是什么情况？？？10. javascript - iview 打包之后 找不到自带的icon图片，而且路径重复，点解
排行榜
ddos - apache日志很多其它网址，什么情况？
ddos - apache日志很多其它网址，什么情况？
1. boot2docker无法启动
2. java - list<Map<String, Object>> 排序
3. javascript - 调微信分享朋友接口，出现下面问题，求解答，
4. css - weui 用伪元素生成border，源码有点不理解
5. javascript - 关于audio标签暂停的问题
6. webpack - vue-cli写的项目（本地跑没有问题），准备放到Nginx服务器上，有什么配置需要改的？还有怎么部署？
7. 微信公众号发送模板消息返回错误41000
8. 这是什么情况？？？
9. javascript - 哪位大神指导下，如何实现今日头条头部导航列表，点那个类型，哪种类型就居中了？
10. javascript - iview 打包之后 找不到自带的icon图片，而且路径重复，点解
热门标签