文章详情页
python - scrapy 处理 文章 分页的内容
浏览：179日期：2022-08-03 16:15:10
问题描述
如一篇文章有2-3页，然后想把这些内容页爬下来，拼接成一页，然后再放入数据库。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一页的内容。大概怎么写呢？
问题解答
回答1：找到分页接口url
回答2：找到那个下一页的链接，加入到爬取url列表中
回答3：可以在rules里面写正则自动扫描符合的url
相关文章：
1. 为什么span的color非要内联样式才起作用？2. javascript - swiper.js嵌套了swiper 初始设置不能向下一个滑动 结束后重新初始3. angular.js - angular-ui-bootstrap 报错无法使用？4. docker - 如何修改运行中容器的配置5. python - 如何修改twisted自带的日志输出格式?6. 高并发写入和更新mysql7. 在cmd下进入mysql数据库，可以输入中文，但是查看表信息，不显示中文，是怎么回事，怎新手，请老师8. 请问一下各位老鸟 我一直在学习独孤九贱 现在是在tp5 今天发现 这个系列视频没有实战9. 老师，请问我打开browsersync出现这个问题怎么解决啊？10. 求救一下，用新版的phpstudy，数据库过段时间会消失是什么情况？
排行榜
网公网安备