文章详情页
python - scrapy 处理 文章 分页的内容
浏览：271日期：2022-08-03 16:15:10
问题描述
如一篇文章有2-3页，然后想把这些内容页爬下来，拼接成一页，然后再放入数据库。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一页的内容。大概怎么写呢？
问题解答
回答1：找到分页接口url
回答2：找到那个下一页的链接，加入到爬取url列表中
回答3：可以在rules里面写正则自动扫描符合的url
相关文章：
1. MYSQL 运算的问题2. mysql - 一个sql的问题3. node.js - win10如何安装并使用babel？4. python - requests post问题5. mysql - 数据库中的引擎和表的引擎的区别在哪？6. python - 使用pyinstaller 可以添加指定的模块吗？7. web服务器 - ubuntu下布置apache加wsgi加python8. python - Scrapy的使用，如何请求新的URL，并回调指定的函数？9. 求救一下，用新版的phpstudy，数据库过段时间会消失是什么情况？10. javascript - 如图，百度首页，查看源代码为什么什么都没有？
排行榜
网公网安备