php导出csv超时,php – 处理非常大的csv文件没有超时和内存错误
发布日期:2022-02-08 20:23:59 浏览次数:31 分类:技术文章

本文共 823 字,大约阅读时间需要 2 分钟。

我已经用

fgetcsv读取一个120MB的csv流式(这是正确的英语吗?)。它逐行读取,然后我将每行插入数据库。这样一来,在每次迭代中只有一行被保留在内存中。脚本仍然需要20分钟。跑步。也许我下次尝试Python …不要试图加载一个巨大的csv文件到一个数组,这真的会消耗大量的内存。

// WDI_GDF_Data.csv (120.4MB) are the World Bank collection of development indicators:

// http://data.worldbank.org/data-catalog/world-development-indicators

if(($handle = fopen('WDI_GDF_Data.csv', 'r')) !== false)

{

// get the first row, which contains the column-titles (if necessary)

$header = fgetcsv($handle);

// loop through the file line-by-line

while(($data = fgetcsv($handle)) !== false)

{

// resort/rewrite data and insert into DB here

// try to use conditions sparingly here, as those will cause slow-performance

// I don't know if this is really necessary, but it couldn't harm;

// see also: http://php.net/manual/en/features.gc.php

unset($data);

}

fclose($handle);

}

转载地址:https://blog.csdn.net/weixin_33132553/article/details/116107795 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:java servlet 过滤,Java Web--Servlet--Filter过滤器
下一篇:python2018年面试题_2018年最新Python面试题及答案精编

发表评论

最新留言

第一次来,支持一个
[***.219.124.196]2024年04月13日 03时12分45秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

spring boot 与 Ant Design of Vue 实现删除组织(二十六) 2019-04-27
spring boot 与 Ant Design of Vue 实现获取用户列表(二十七) 2019-04-27
spring boot 与 Ant Design of Vue 实现新增用户(二十八) 2019-04-27
spring boot 与 Ant Design of Vue 实现修改用户(二十九) 2019-04-27
spring boot 与 Ant Design of Vue 实现删除用户(三十) 2019-04-27
spring boot 与 Ant Design of Vue 鉴权体系登录的实现(三十一) 2019-04-27
spring boot 与 Ant Design of Vue 鉴权体系获取用户信息的实现(三十二) 2019-04-27
Druid连接池实现自定义场景的多数据库的连接 2019-04-27
CentOs7命令行(静默)的方式安装oracle数据库 2019-04-27
基于VMware安装CentOs7的镜像 2019-04-27
PL/SQL数据库管理工具的使用 2019-04-27
带你玩转属于自己的spring-boot-starter系列(一) 2019-04-27
带你玩转属于自己自己的spring-boot-starter系列(二) 2019-04-27
带你玩转属于自己的spring-boot-starter系列(三) 2019-04-27
基于SnowFlake算法如何让分库分表中不同的ID落在同一个库的算法的实现 2019-04-27
基于springboot的ShardingSphere5.X的分库分表的解决方案之分库解决方案(二) 2019-04-27
基于springboot的ShardingSphere5.X的分库分表的解决方案之分表解决方案(一) 2019-04-27
基于springboot的ShardingSphere5.X的分库分表的解决方案之关联查询解决方案(三) 2019-04-27
基于springboot的ShardingSphere5.X的分库分表的解决方案之基于seata的分布式事务的解决方案(十五) 2019-04-27
Linux文件管理参考 2019-04-27