您的位置：首页技术文章
文章详情页

python - scrapy 处理 文章 分页的内容

浏览：211日期：2022-08-03 16:15:10

问题描述

如一篇文章有2-3页，然后想把这些内容页爬下来，拼接成一页，然后再放入数据库。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一页的内容。大概怎么写呢？

问题解答

回答1：

找到分页接口url

回答2：

找到那个下一页的链接，加入到爬取url列表中

回答3：

可以在rules里面写正则自动扫描符合的url

标签： Python 编程
上一条：python - 如何让dataframe A 的一列与dataframe B的一列相减 相加结果记到A的c列？下一条：乱码 - VS2013+PTVS，python编码问题
相关文章：
1. CSS3的渐变属性的疑惑2. Ant design vue中的联动选择取消操作3. objective-c - iOS开发使用什么对html进行代码高亮4. css3 - CSS优先级问题5. css - transform-origin 旋转参考点6. javascript - 单个页面执行多个jsonp的ajax请求，如何判断一个ajax请求执行完毕执行再另一个？7. 微信端电子书翻页效果8. vue.js - weex 没有背景图片属性怎么办？9. javascript - 使用原生ajax时，URL编码的问题10. javascript - 请教，用原生js插入html的问题
排行榜
Ant design vue中的联动选择取消操作
Ant design vue中的联动选择取消操作
1. CSS3的渐变属性的疑惑
2. vue.js - weex 没有背景图片属性怎么办？
3. css - transform-origin 旋转参考点
4. objective-c - iOS开发使用什么对html进行代码高亮
5. 微信端电子书翻页效果
6. css3 - CSS优先级问题
7. javascript - 单个页面执行多个jsonp的ajax请求，如何判断一个ajax请求执行完毕执行再另一个？
8. node.js - 我是一个做前端的，求教如何学习vue，node等js引擎？
9. angular.js - angular ui bootstrap 中文显示问题
10. objective-c - 微信支付的问题
热门标签