您的位置：首页技术文章
文章详情页

python - scrapy 处理 文章 分页的内容

浏览：239日期：2022-08-03 16:15:10

问题描述

如一篇文章有2-3页，然后想把这些内容页爬下来，拼接成一页，然后再放入数据库。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一页的内容。大概怎么写呢？

问题解答

回答1：

找到分页接口url

回答2：

找到那个下一页的链接，加入到爬取url列表中

回答3：

可以在rules里面写正则自动扫描符合的url

标签： Python 编程
上一条：python - 如何让dataframe A 的一列与dataframe B的一列相减 相加结果记到A的c列？下一条：乱码 - VS2013+PTVS，python编码问题
相关文章：
1. python3.x - python多线程如何修改数据?2. css - width设置为100%之后列表无法居中3. python - 字符串里的u’u00a1’怎么打印成中文4. docker内创建jenkins访问另一个容器下的服务器问题5. mysql连表排序6. sublime-text - sublime text 3中编译python（sublimeREPL），如何仅运行单行/选定部分7. 代码如下，java用BigDecimal四舍五入怎么还有问题呀？哪种方式是完全没有问题的？8. 登录界面URL在服务器上无法找到9. javascript - 如何让双核浏览器默认选择急速模式渲染页面10. docker-compose 为何找不到配置文件？
排行榜
css - width设置为100%之后列表无法居中
css - width设置为100%之后列表无法居中
1. python - 字符串里的u’u00a1’怎么打印成中文
2. mysql连表排序
3. 代码如下，java用BigDecimal四舍五入怎么还有问题呀？哪种方式是完全没有问题的？
4. python3.x - python多线程如何修改数据?
5. 登录界面URL在服务器上无法找到
6. sublime-text - sublime text 3中编译python（sublimeREPL），如何仅运行单行/选定部分
7. docker容器呢SSH为什么连不通呢？
8. angular.js使用$resource服务把数据存入mongodb的问题。
9. docker内创建jenkins访问另一个容器下的服务器问题
10. javascript - 如何让双核浏览器默认选择急速模式渲染页面
热门标签