IT技术互动交流平台

MariaDB SQL里怎么通过Unix命令来提升速度

作者:whl  来源:网络整理  发布日期:2018-11-16 08:51:00

  最近小编收到身边朋友的反馈说是在MariaDB(MySQL)里对连接进行查询的时候发现其性能真是一塌糊涂,让人不忍直视。小编查找了资料后发现了一个特别简单的办法来解决这个MariaDB SQL速度慢的问题,那就是通过Unix 命令来运行,然后你会发现查询的时候缩短了起码30倍以上,十分惊人。

  下面就是这个查询,它是 GHTorrent 分析的一部分,我使用了关系在线分析处理框架 simple-rolap 来实现这个分析。

 simple-rolap

  两个连接字段都有索引。不过,MariaDB 是通过对 project_commits 进行全表扫描和对 commits 进行索引查找来实现连接的。这可以从 EXPLAIN 的输出看出来。

EXZ喎QTEFJTiC1xMrks/Y=" src="http://www.it165.net/uploadfile/2018/1115/20181115060938442.png" style="height: 124px; width: 368px" />

  这两个表中的记录比较多:project_commits 有 50 亿行记录,commits 有 8.47 亿行记录。服务器的内存比较小,只有 16GB。所以很可能是因为内存放不下那么大的索引,需要读取磁盘,因此严重影响到了性能。从 pmonitor 对临时表的分析结果来看,这个查询已经运行半天了,还需要 373 个小时才能运行完。

  在我看来,这个太过分了,因为排序合并连接(sort-merge join)所需的 I/O 时间应该要比预计的执行时间要低一个数量级。我在 dba.stackexchange.com 上寻求帮助,有人给出了一些建议让我尝试,但我没有信心它们能够解决我的问题。我尝试了第一个建议,结果并不乐观。尝试每个建议都需要至少半天的时间,后来,我决定采用一种我认为可以有效解决这个问题的办法。

  我将这两个表导出到文件中,使用 Unix 的 join 命令将它们连接在一起,将结果传给 uniq,把重复的行移除掉,然后将结果导回到数据库。导入过程(包括重建索引)从 20:41 开始,到第二天的 9:53 结束。以下是具体操作步骤。

  1. 将数据库表导出为文本文件

  我先导出连接两个表需要用到的字段,并按照连接字段进行排序。为了确保排序顺序与 Unix 工具的排序顺序兼容,我将字段转换为字符类型。

  我将以下 SQL 查询的输出保存到文件 commits_week.txt 中。

 commits_week.txt

  然后将以下 SQL 查询的输出保存到 project_commits.txt 文件中:

 project_commits.txt

  这样就生成了以下两个文件。

  -rw-r–r– 1 dds dds 15G Aug 4 21:09 commits_week.txt

  -rw-r–r– 1 dds dds 93G Aug 5 00:36 project_commits.txt

  为了避免内存不足,我使用 –quick 选项来运行 mysql 客户端,否则客户端会在输出结果之前尝试收集所有的记录。

  2. 使用 Unix 命令行工具处理文件

  接下来,我使用 Unix 的 join 命令来连接这两个文本文件。这个命令线性扫描两个文件,并将第一个字段相同的记录组合在一起。由于文件中的记录已经排好序,因此整个过程完成得很快,几乎就是 I/O 的速度。我还将连接的结果传给 uniq,用以消除重复记录,这就解决了原始查询中的 distinct 问题。同样,在已经排好序的输出结果上,可以通过简单的线性扫描完成去重。

  这是我运行的 Unix 命令。

  join commits_week.txt project_commits.txt | uniq >joined_commits.txt

  经过一个小时的处理,我得到了想要的结果。

  -rw-r–r– 1 dds dds 133G Aug 5 01:40 joined_commits.txt

  3. 将文本文件导回数据库

  最后,我将文本文件导回数据库。

文本文件导回数据库

  结语

  相信对MariaDB 有所了解的朋友do知道,在理想状态下,它是可以实现排序合并连接的,而且还能在预测运行时间可能过长的时候优化器会运行让排序合并自动连接。今天给大家介绍的使用Unix 命令来提升MariaDB SQL的速度的介绍就到这里了,希望能对有需要的朋友有所帮助。

Tag标签: MariaDB SQL   Unix命令  
  • 专题推荐

About IT165 - 广告服务 - 隐私声明 - 版权申明 - 免责条款 - 网站地图 - 网友投稿 - 联系方式
本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规