怎样提高MySQL装载数据的效率讲解

怎样提高MySQL装载数据的效率讲解

如何改善MySQL数据装载操作效率？

成批装载较单行装载更快，在装载每个记录后，不需要刷新索引高速缓存；可在成批记录装入后才刷新。

在表无索引时装载比索引后装载更快。如果有索引，不仅必须增加记录到数据文件，而且还要修改每个索引以反映增加了的新记录。

较短的SQL 语句比较长的SQL 语句要快，因为它们涉及服务器方的分析较少，而且还因为将它们通过网络从客户机发送到服务器更快。这些因素中有一些似乎微不足道(特别是最后一个因素)， 但如果要装载大量的数据，即使是很小的因素也会产生很大的不同结果。

1>LOAD DATA(包括其所有形式)比INSERT 效率高，因为其成批装载行。索引刷新较少，并且服务器只需分析和解释一条语句而不是几条语句。

2>LOAD DATA 比LOAD DATA LOCAL 效率更高。利用LOAD DATA，文件必须定位在服务器上，而且必须具有FILE 权限，但服务器可从磁盘直接读取文件。利用LOAD DATA LOCAL，客户机读取文件并将其通过网络发送给服务器，这样做很慢。

3>如果必须使用INSERT，应该利用允许在单个语句中指定多行的形式，

例如：可在语句中指定的行越多越好。这样会减少所需的语句数目，降低索引刷新量。如果使用mysqldump 生成数据库备份文件，应该使用--extended-insert 选项，使转储文件包含多行INSERT 语句。

反之，应该避免使用mysqldump 的--complete-insert 选项；此选项会导致INSERT 语句为单行，执行时间更长，比不用--complete-insert 选项生成的语句需要更多的分析。

4>使用压缩了的客户机/服务器协议以减少网络数据流量。

对于大多数MySQL客户机，可以用--compress 命令行选项来指定。它一般只用于较慢的网络，因为压缩需要占用大量的处理器时间。

5>让MySQL插入缺省值 不要在INSERT 语句中指定将以任意方式赋予缺省值的列。平均来说，这样做语句会更短，能减少通过网络传送给服务器的字符数。此外，语句包含的值较少，服务器所进行的分析和转换就会较少。

6>如果表是索引的，则可利用批量插入( LOAD DATA 或多行的INSERT 语句)来减少索引的开销。这样会最小化索引更新的影响，因为索引只需要在所有行处理过时才进行刷新，而不是在每行处理后就刷新。

7>如果需要将大量数据装入一个新表，应该创建该表且在未索引时装载，装载数据后才创建索引，这样做较快。一次创建索引(而不是每行修改一次索引)较快。

8>如果在装载之前删除或禁用索引，装入数据后再重新创建或启用索引可能使装载更快。

如果想对数据装载使用删除或禁用策略，一定要做一些实验，看这样做是否值得(如果将少量数据装入一个大表中，重建和索引所花费的时间可能比装载数据的时间还要长)。

可用DROP INDEX 和CREATE INDEX 来删除和重建索引。