mac命令行的mysql,导入六百万行数据花了58秒,机器的性能算怎样呢?

是六百六十多万行,17个字段,文本文件1.2G

我用load语句,表就一个主键。

mac本儿是mbp2013 later,16G,i78核;系统也老,是10.10.5,不愿意升级了。

这个导入速度,能反映出机器的性能算怎样的?

16g 内存不小,但 2013 年的 cpu 应该和现在差距很大。

恩纳。我觉得58秒有点慢了,我以为可以十几秒导入。

但是个人电脑可以处理这个量级,我觉得还是可以的。朋友拿execl打不开,他还想分组排序,嘿嘿。我说打不开就对了,哈哈哈。他需要的全局排序,我用mysql做了加上结果集全部导出,花了9分38秒,占用了15g的硬盘缓冲区。对了我该整理下硬盘了,老师们还是进入移动盘吧。

我这个电脑现在就是啥都有点慢,但是can do,我就觉得可以再战,顶住压力不升级操作系统是关键,哈哈哈。

我不懂数据库的导入,只是单纯觉得 10 年前的 cpu 现在很可能体验不佳。

导入sqlite速度怎么样? 我以前做过把数据导入mysql和sqlite的速度对比,数据现在找不到了,但我记得结果是mysql比sqlite要快上好多倍,导致我对sqlite都差点失去信心了

咱在三年前跟MySQL提和平分手了,被公认更强大也更快的PostgreSQL 勾搭走了

2 个赞

以我个人的经验,58秒按你机器的配置来说是有点慢了。mbp基本都是ssd硬盘,最差最差连续读写也是能在几百m的数量级。你一个1.2G的文件如果当成做从内存直接写入到磁盘也就几秒钟的事情。文本文件大概率也就是个csv,导入到表也就是个数据结构转换的计算量,对你的cpu来说是完全够用的。

可能就是慢的,因为没有用过更靠近现在的电脑,所以暂时不知道体验上的差异。

我没有用过sqlite,我估计它比mysql这样的数据库系统,应该慢很多吧。

Postgre,久仰它的大名。很早以前一个甲方单位的数据库系统就是它,每一个数据的插入,它的属于叫“安装”(install?),不知是数据库系统的习惯,还是开发出来的应用上的习惯。

你觉得mysql与Postgre的差异有哪些?

是的,是500G的ssd硬盘。源数据文件也是csv。

下面是我用同一个流程处理另一个数据,489万多行的各种处理的计时情况,有数据库操作的计时,也有wc,awk等shell命令的处理计时,你看可能的瓶颈主要在哪里?

其中3.1步骤,清空表,删除上次的6百多万条数据,就花了32.9秒。

sqlite 相比 mysql 功能简陋很多,所以性能应该可能更好。

我猜的话,如果简单的系统在内存调度和磁盘缓存上方案比较随意的话,在有压力的处理中,就会性能表现较弱。

1 个赞

谁用谁知道,例如早早就用了json 数据类型(现在MySQL也有,但是弱很多),还有数组,如果你感兴趣,我可以推荐两本我看的Postgres书籍

我感兴趣,请为我推荐那基本Postgres的书籍,万分感谢!

另外,这个DBA系统的易安装性怎么样?就是挑不挑系统环境,mysql极易安装、极度不挑环境,每次我在任何系统的命令行上,都是一句话在线安装成功,不像apache还要挑mac os的系统版本号,而latex的中文环境,在mac或者linux上简直就是生个娃那种感觉我得重新胡乱地配置出来。

我刚才胡乱捣鼓了一下安装,可能不行,需要深度折腾,哈哈哈

运行brew需要更新pkg-config-0.29.2.tar.gz,下载了这个包, ./configure的时候error,说我这里glib太低了,2.0,安装需要2.16。

我得先折腾一下。


哈哈哈,我刚才查解决办法,搜到你在本站的帖子,原来你2020年2月也遇到glib的问题。哈哈哈哈。

先休息一下,出去遛会儿。今儿下雨了,挺凉快儿!

好滴,多谢,哈哈哈!

推荐你你跟我一样,买个自带音响效果的麦克风到广场唱歌🤭 适当地放松释放自己

哈哈,你喜欢唱什么歌?我唱歌不好听,当众唱歌觉得不好意思。

我一般骑一下小摩托车,带一个头盔遮住我的嘴脸,悄咪咪往山路上跑一跑,然后呼吸一口新鲜空气。油价有涨价,但是摩托车油耗少,所以影响不算大。

哈哈哈,很棒哦。我这种社恐是不敢了。