文章详情页
python - scrapy 处理 文章 分页的内容
浏览：102日期：2022-08-03 16:15:10
问题描述
如一篇文章有2-3页，然后想把这些内容页爬下来，拼接成一页，然后再放入数据库。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一页的内容。大概怎么写呢？
问题解答
回答1：找到分页接口url
回答2：找到那个下一页的链接，加入到爬取url列表中
回答3：可以在rules里面写正则自动扫描符合的url
相关文章：
1. php - 第三方支付平台在很短时间内多次异步通知,订单多次确认收款2. html5 - h5写的app用的webview，用手机浏览器打开不显示？3. css3 - css before 中文乱码？4. mysql新建字段时 timestamp NOT NULL DEFAULT ’0000-00-00 00:00:00’ 报错5. javascript - 百度echarts series数据更新问题6. Mysql && Redis 并发问题7. css - 求推荐几款好用的移动端页面布局调试工具呢？8. mysql - 一个表和多个表是多对多的关系，该怎么设计9. javascript - webpack --hot 热重载无效的问题10. javascript - node服务端渲染的困惑
排行榜
网公网安备