文章详情页
如何提高python查询速度？
浏览：233日期：2022-06-29 18:39:57
问题描述
最近在爬股票的相关新闻，一开始设想的是，当有新的新闻动态发布，程序通过邮件发送最新内容到邮箱。
所以我想把新闻标题，内容存到数据库里，当内容更新时，把新的内容和数据库的标题列表对比，看是不是已存在的，如果已存在，那就不发送，如果没有，那发送到邮箱。
但数量大了以后，列表查询速度就会变慢，请问各位还有什么方法可以传授下吗？
问题解答
回答1：爬虫任务去重
抓过的链接存到一个set中，检查新链接是否在集合中即可。
回答2：去重有很多方法，比如楼上的set或者布隆过滤器都可以有效的使用内存，提升效率
相关文章：
1. javascript - 修改表单多选项时和后台同事配合的问题。2. nignx - docker内nginx 80端口被占用3. 如何解决docker宿主机无法访问容器中的服务？4. docker安装后出现Cannot connect to the Docker daemon.5. docker绑定了nginx端口 外部访问不到6. redis - 究竟是选择微信小程序自带的统计工具还是自己开发一个数据统计的代码?7. dockerfile - [docker build image失败- npm install]8. javascript - 怎么实现点击表格中的某一行然后就在表单处出现表格中的对应的属性值啊9. css - 使用blur()滤镜为什么有透明的效果10. macos - mac下docker如何设置代理
排行榜
网公网安备