您的位置：首页技术文章
文章详情页

如何提高python查询速度？

浏览：288日期：2022-06-29 18:39:57

问题描述

最近在爬股票的相关新闻，一开始设想的是，当有新的新闻动态发布，程序通过邮件发送最新内容到邮箱。

所以我想把新闻标题，内容存到数据库里，当内容更新时，把新的内容和数据库的标题列表对比，看是不是已存在的，如果已存在，那就不发送，如果没有，那发送到邮箱。

但数量大了以后，列表查询速度就会变慢，请问各位还有什么方法可以传授下吗？

问题解答

回答1：

爬虫任务去重

抓过的链接存到一个set中，检查新链接是否在集合中即可。

回答2：

去重有很多方法，比如楼上的set或者布隆过滤器都可以有效的使用内存，提升效率

标签： Python 编程
上一条：python - 如何使用requests模块在一个post中提交含有多个相同名称的数据？下一条：python - scrapy获取网页指定内容，后翻到下一页继续，固定循环次数。。问题
相关文章：
1. Docker for Mac 创建的dnsmasq容器连不上/不工作的问题2. docker容器呢SSH为什么连不通呢？3. docker网络端口映射，没有方便点的操作方法么？4. docker api 开发的端口怎么获取？5. Hbuilder中的phpMyAdmin访问题6. docker gitlab 如何git clone？7. 请问“由于 Cookie “PHPSESSID”的“SameSite”属性设置为“None”，但缺少“Secure”属性，此 Cookie 未来将被拒绝。”请问出现这个问题怎么办？8. 如何解决Centos下Docker服务启动无响应，且输入docker命令无响应？9. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？10. 前端 - 类到底该如何去命名 .newsList 这种的命名难道真的不是过度语义化吗？~
排行榜
Docker for Mac 创建的dnsmasq容器连不上/不工作的问题
Docker for Mac 创建的dnsmasq容器连不上/不工作的问题
1. docker容器呢SSH为什么连不通呢？
2. docker api 开发的端口怎么获取？
3. docker网络端口映射，没有方便点的操作方法么？
4. docker gitlab 如何git clone？
5. 请问“由于 Cookie “PHPSESSID”的“SameSite”属性设置为“None”，但缺少“Secure”属性，此 Cookie 未来将被拒绝。”请问出现这个问题怎么办？
6. docker images显示的镜像过多，狗眼被亮瞎了，怎么办？
7. 前端 - 类到底该如何去命名 .newsList 这种的命名难道真的不是过度语义化吗？~
8. Hbuilder中的phpMyAdmin访问题
9. 如何解决Centos下Docker服务启动无响应，且输入docker命令无响应？
10. 微信开放平台 - ios APP能不能打开微信然后通过微信跳转到指定的URL？
热门标签