mysql - PHP 批量插入的时候 判断数据表里面是否重复怎么优化
问题描述
场景:从第三方接口获取到数据 比如 获取到了 500 条,然后批量插入到表,但是要保证唯一。代码如果是这样的(name 字段有索引的情况下怎么才能最大化的优化),这样的结果是有500次的I/O 这个逻辑怎么优化最佳呢;这里还有个场景如果当这 500条插入成功后马上进行二次查询第三方接口然后再批量插入,主要是考虑到第二种情况:
$datas = [];$Apps = new Apps();foreach ($lists as $k=>$v){ $name = $v[’name’]; $res = $Apps->where([’name’ => $name])->field(’name’)->find(); //如果没有记录 if (empty($res)){$datas[] = [’name’ => $name]; }}if (empty($datas)){ //批量插入 $Apps->saveAll($datas);}
问题解答
回答1:保证唯一放在数据库那边处理,设置个unique就好了吧。这个不需要PHP来处理。
回答2:设置联合主键
回答3:不能重复的字段加唯一索引吧
回答4:首先对该字段加唯一索引,然后SQL改成这样, INSERT INTO xx (yy)VALUES(?) ON DUPLICATE KEY UPDATE yy=?但唯一键出现重复时更新字段,也可以忽略重复,对重复的行不做修改INSERT IGNORE INTO
相关文章:
1. 在mybatis使用mysql的ON DUPLICATE KEY UPDATE语法实现存在即更新应该使用哪个标签?2. 哭辽 求大佬解答 控制器的join方法怎么转模型方法3. mysql储存json错误4. mysql - 怎么生成这个sql表?5. mysql - 数据库表中,两个表互为外键参考如何解决6. Navicat for mysql 中以json格式储存的数据存在大量反斜杠,如何去除?7. sql语句 - 如何在mysql中批量添加用户?8. mysql - 表名称前缀到底有啥用?9. 编辑成功不显示弹窗10. 怎么php怎么通过数组显示sql查询结果呢,查询结果有多条,如图。
