文章详情页
如何提高python查询速度？
浏览：199日期：2022-06-29 18:39:57
问题描述
最近在爬股票的相关新闻，一开始设想的是，当有新的新闻动态发布，程序通过邮件发送最新内容到邮箱。
所以我想把新闻标题，内容存到数据库里，当内容更新时，把新的内容和数据库的标题列表对比，看是不是已存在的，如果已存在，那就不发送，如果没有，那发送到邮箱。
但数量大了以后，列表查询速度就会变慢，请问各位还有什么方法可以传授下吗？
问题解答
回答1：爬虫任务去重
抓过的链接存到一个set中，检查新链接是否在集合中即可。
回答2：去重有很多方法，比如楼上的set或者布隆过滤器都可以有效的使用内存，提升效率
相关文章：
1. MYSQL新建用户设置可以远程访问的问题2. python - 求一个在def中可以实现调用本def满足特定条件continue效果的方法（标题说不太清楚，请见题内描述）3. java - mybatis怎么实现在数据库中有就修改,没有就添加4. $fields = $values = [];这条代码一直定义不了，一直报错，老师的源码也是被报错的,执行不了,请问该怎么解决这个问题5. node.js - nodejs和前端JavaScript 字符串处理结果不一样是什么原因？6. 各位谁知道这个CSS时候哪里出错了？？？7. mysql - 我的myeclipse一直连显示数据库连接失败，不知道为什么8. mysql 5.7单表300万数据，性能严重下降，如何破？9. mysql 为何insert的时候会有lock wait timeout 异常10. mysql同步数据到elasticsearch用什么工具？
排行榜
![$fields = $values = [];这条代码一直定义不了，一直报错，老师的源码也是被报错的,执行不了,请问该怎么解决这个问题](http://www.haobala.com/attached/image/news/202205/093622cb60.png)
网公网安备