php一次性大量数据入库解决方法

当有业务需求需要一次性循环n条数据,插入或更新数据库时,如果单纯的循环,插入/更新,会消耗太多的数据库资源

 

一下是一种简单的解决方案

 

数据库的insert 是可以批量更新的,当有大量数据循环insert时,可以将数据先保留不执行插入命令,到最后一条时一次性插入,例如tp的addAll()方法;

 

数据库的update 如果使用case when 的话,也是可以批量更新的,本人在百度上找到了一个基于tp的saveAll()方法,用于更新数据

本文主要讲关于批量insert;

例:

 

生成一个订单

 

正常情况的语句为:

 

 

INSERT INTO order (`goods_id`,`num`,`price`) VALUES (1,1,‘10.00‘);
//封装成函数
function add_order($goods_id,$num,$price){
$db->query("INSERT INTO order (`goods_id`,`num`,`price`) VALUES ($goods_id,$num,$price)");
}

 

 

 

假设有一个用户,一次性将购物车的1000个商品结算成订单,生成1000个订单时;

php一次性大量数据入库解决方法

 

 

for ($i=0;$i<1000;$i++){
$db->query("INSERT INTO order (`goods_id`,`num`,`price`) VALUES ($goods_id,$num,$price)");
}
//这样的话会导致服务器资源占用过大,网站卡死
//所以,我们可以
$sql "INSERT INTO order (`goods_id`,`num`,`price`) VALUES ";
for ($i=0;$i<1000;$i++){
    if($i==0){
    $sql.="($goods_id,$num,$price)";
    }else{
    $sql.=",($goods_id,$num,$price)";
    }
}
$db->query($sql);

 

大概意思就是这样了,批量更新实现比较麻烦一点,就不发了,以下是批量更新的sql执行语句

UPDATE tiyan.dm_user_cupboard SET `res_id` = CASE `id` WHEN 1041 THEN ‘1‘ WHEN 1058 THEN ‘1‘ WHEN 1055 THEN ‘1‘  END,`food_code` = CASE `id` WHEN 1041 THEN ‘68‘ WHEN 1058 THEN ‘47‘ WHEN 1055 THEN ‘49‘  END,`food_name` = CASE `id` WHEN 1041 THEN ‘红枣‘ WHEN 1058 THEN 莲藕 WHEN 1055 THEN 洋葱  END,`num` = CASE `id` WHEN 1041 THEN ‘2‘ WHEN 1058 THEN ‘3‘ WHEN 1055 THEN ‘2‘  END,`level` = CASE `id` WHEN 1041 THEN ‘2‘ WHEN 1058 THEN ‘2‘ WHEN 1055 THEN ‘2‘  END,`update_time` = CASE `id` WHEN 1041 THEN ‘2017-12-09 21:40:06‘ WHEN 1058 THEN ‘2017-12-09 21:40:06‘ WHEN 1055 THEN ‘2017-12-09 21:40:06‘  END WHERE id IN ( 1041,1058,1055 )

 

 

UPDATE tiyan.dm_user_cupboard SET `res_id` = CASE `id` WHEN 1041 THEN ‘1‘ WHEN 1058 THEN ‘1‘ WHEN 1055 THEN ‘1‘ END,`food_code` = CASE `id` WHEN 1041 THEN ‘68‘ WHEN 1058 THEN ‘47‘ WHEN 1055 THEN ‘49‘ END,`food_name` = CASE `id` WHEN 1041 THEN ‘红枣‘ WHEN 1058 THEN ‘莲藕‘ WHEN 1055 THEN ‘洋葱‘ END,`num` = CASE `id` WHEN 1041 THEN ‘2‘ WHEN 1058 THEN ‘3‘ WHEN 1055 THEN ‘2‘ END,`level` = CASE `id` WHEN 1041 THEN ‘2‘ WHEN 1058 THEN ‘2‘ WHEN 1055 THEN ‘2‘ END,`update_time` = CASE `id` WHEN 1041 THEN ‘2017-12-09 21:40:06‘ WHEN 1058 THEN ‘2017-12-09 21:40:06‘ WHEN 1055 THEN ‘2017-12-09 21:40:06‘ END WHERE id IN ( 1041,1058,1055 )

 

 

 

附带基于tp的saveAll()

 

 

//批量更新
public 
function 
saveAll(
$datas
,
$model
){
    

$model 
|| 
$model
=
$this
->tableName);
    
$model
=
empty
(
$model
)?
$this
->name:
$model
;
    
$sql   

‘‘

//Sql
    
$lists 
= []; 
//记录集$lists
    
$pk    

$this
->getPk();
//获取主键
    
foreach 
(
$datas 
as 
$data
) {
        
foreach 
(
$data 
as 
$key
=>
$value
) {
            
if
(
$pk
===
$key
){
                
$ids
[]=
$value
;
            
}
else
{
                
$lists
[
$key
].= sprintf(
"WHEN %u THEN ‘%s‘ "
,
$data
[
$pk
],
$value
);
            
}
        
}
    
}
    
foreach 
(
$lists 
as 
$key 
=> 
$value
) {
        
$sql
.= sprintf(
"`%s` = CASE `%s` %s END,"
,
$key
,
$pk
,
$value
);
    
}
    
$sql 
= sprintf(
‘UPDATE __%s__ SET %s WHERE %s IN ( %s )‘
,
strtoupper
(
$model
),rtrim(
$sql
,
‘,‘
),
$pk
,implode(
‘,‘
,
$ids
));
    
return 
M()->execute(
$sql
);
}