您的位置：首页技术文章
文章详情页

python - scrapy 处理 文章 分页的内容

浏览：157日期：2022-08-03 16:15:10

问题描述

如一篇文章有2-3页，然后想把这些内容页爬下来，拼接成一页，然后再放入数据库。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一页的内容。大概怎么写呢？

问题解答

回答1：

找到分页接口url

回答2：

找到那个下一页的链接，加入到爬取url列表中

回答3：

可以在rules里面写正则自动扫描符合的url

标签： Python 编程
上一条：python - 如何让dataframe A 的一列与dataframe B的一列相减 相加结果记到A的c列？下一条：乱码 - VS2013+PTVS，python编码问题
相关文章：
1. Docker for Mac 创建的dnsmasq容器连不上/不工作的问题2. docker api 开发的端口怎么获取？3. 用命令无法登陆mysql页面求解答4. docker绑定了nginx端口 外部访问不到5. 我在centos容器里安装docker，也就是在容器里安装容器，报错了？6. 为什么我ping不通我的docker容器呢？？？7. docker-compose 为何找不到配置文件？8. docker - 各位电脑上有多少个容器啊？容器一多，自己都搞混了，咋办呢？9. 关docker hub上有些镜像的tag被标记““This image has vulnerabilities””10. docker容器呢SSH为什么连不通呢？
排行榜
Docker for Mac 创建的dnsmasq容器连不上/不工作的问题
Docker for Mac 创建的dnsmasq容器连不上/不工作的问题
1. docker api 开发的端口怎么获取？
2. 用命令无法登陆mysql页面求解答
3. docker绑定了nginx端口 外部访问不到
4. 我在centos容器里安装docker，也就是在容器里安装容器，报错了？
5. 为什么我ping不通我的docker容器呢？？？
6. nignx - docker内nginx 80端口被占用
7. 关docker hub上有些镜像的tag被标记““This image has vulnerabilities””
8. docker容器呢SSH为什么连不通呢？
9. golang - 用IDE看docker源码时的小问题
10. docker - 各位电脑上有多少个容器啊？容器一多，自己都搞混了，咋办呢？
热门标签