文章详情页
如何提高python查询速度？
浏览：130日期：2022-06-29 18:39:57
问题描述
最近在爬股票的相关新闻，一开始设想的是，当有新的新闻动态发布，程序通过邮件发送最新内容到邮箱。
所以我想把新闻标题，内容存到数据库里，当内容更新时，把新的内容和数据库的标题列表对比，看是不是已存在的，如果已存在，那就不发送，如果没有，那发送到邮箱。
但数量大了以后，列表查询速度就会变慢，请问各位还有什么方法可以传授下吗？
问题解答
回答1：爬虫任务去重
抓过的链接存到一个set中，检查新链接是否在集合中即可。
回答2：去重有很多方法，比如楼上的set或者布隆过滤器都可以有效的使用内存，提升效率
相关文章：
1. java - mongodb分片集群下，count和聚合统计问题2. javascript - vue 移动端的input 数字输入优化3. java - 自己制作一个视频播放器，遇到问题，用的是内置surfaceview类，具体看代码！4. javascript - 有什么兼容性比较好的办法来判断浏览器窗口的类型？5. 服务器端 - 采用nginx做web服务器，C++开发应用程序 出现拒绝连接请求？6. 为什么我ping不通我的docker容器呢？？？7. python - pandas按照列A和列B分组，将列C求平均数，怎样才能生成一个列A,B,C的dataframe8. 关于docker下的nginx压力测试9. javascript - npm start 运行’webpack-dev-server’报错 Cannot find module ’webpack’10. java 随机延迟执行
排行榜
网公网安备