文章详情页
python - scrapy 处理 文章 分页的内容
浏览：137日期：2022-08-03 16:15:10
问题描述
如一篇文章有2-3页，然后想把这些内容页爬下来，拼接成一页，然后再放入数据库。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一页的内容。大概怎么写呢？
问题解答
回答1：找到分页接口url
回答2：找到那个下一页的链接，加入到爬取url列表中
回答3：可以在rules里面写正则自动扫描符合的url
相关文章：
1. javascript - jq append()添加的form，然后用ajax提交时，获取不了form的提交的元素2. python - xpath提取网页路径没问题，但是缺失内容？3. mysql 级联查询4. mysql - 根据ER图编写的SQl语句,不知道对不对5. java - Win10下 idea的编码设置成了UTF-8，但是返回时乱码显示，哪里有问题？？6. datetime - Python如何获取当前时间7. 算法 - Java如何实现类似QQ多人聊天头像8. mysql多表查询的问题9. python - （初学者）代码运行不起来，求指导，谢谢！10. update方法不能更新字段值为0的数据
排行榜
网公网安备