文章详情页
如何提高python查询速度？
浏览：303日期：2022-06-29 18:39:57
问题描述
最近在爬股票的相关新闻，一开始设想的是，当有新的新闻动态发布，程序通过邮件发送最新内容到邮箱。
所以我想把新闻标题，内容存到数据库里，当内容更新时，把新的内容和数据库的标题列表对比，看是不是已存在的，如果已存在，那就不发送，如果没有，那发送到邮箱。
但数量大了以后，列表查询速度就会变慢，请问各位还有什么方法可以传授下吗？
问题解答
回答1：爬虫任务去重
抓过的链接存到一个set中，检查新链接是否在集合中即可。
回答2：去重有很多方法，比如楼上的set或者布隆过滤器都可以有效的使用内存，提升效率
相关文章：
1. javascript - react能够使用什么时间插件2. docker api 开发的端口怎么获取？3. node.js - 我是一个做前端的，求教如何学习vue，node等js引擎？4. docker网络端口映射，没有方便点的操作方法么？5. docker镜像push报错6. 如何解决docker宿主机无法访问容器中的服务？7. android glide asbitmap 在baseadpter中的问题8. 如何解决Centos下Docker服务启动无响应，且输入docker命令无响应？9. java - 为什么第一个线程已经释放了锁，第二个线程却不行？10. 老师，flex-shrink: 1; 按视频操作，不会自动缩放
排行榜
网公网安备