Question

我刚买了一台新的mysql机器（16GB RAM，4x SAS 15k rpm 300GB驱动器在RAID10中），所以机器非常快。

我一直在导入几个数据库，每个数据库有几百万个项目，但这需要相当长的时间，比我想象的要长。我每秒看到大约1000次插入，我相信它应该能够做得更多。此过程运行的时间越长，它就越慢。

这是我的配置，任何提高速度的提示，但这并不会损害数据的可靠性。

[mysqld]
skip-name-resolve
datadir=/var/lib/mysql
#socket=/tmp/mysql.sock
log-error=/var/log/mysqld.log
port=48221
user=mysql
old_passwords=0
max_connections = 1500
table_cache = 1024
max_allowed_packet = 16M
sort_buffer_size = 2M
thread_cache = 8
thread_concurrency = 32
query_cache_size = 0M
query_cache_type = 0
default-storage-engine = innodb
transaction_isolation = REPEATABLE-READ
tmp_table_size = 256M
long_query_time = 3
log_slow_queries = 1
innodb_additional_mem_pool_size=48M
innodb_flush_log_at_trx_commit=2
innodb_log_buffer_size=32M
innodb_buffer_pool_size=2G
innodb_autoinc_lock_mode=2
innodb_io_capacity=500
innodb_read_io_threads=16
innodb_write_io_threads=8
innodb_buffer_pool_size = 5000M
innodb_lock_wait_timeout = 300
innodb_max_dirty_pages_pct = 90
innodb_thread_concurrency =32

[mysqldump]
quick
single-transaction

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

Answer 1

您可以在导入期间删除索引，并在完成后重建它们。您还应该尝试对插入进行分块，在单个事务中搜索自动提交和所有插入之间的最佳位置。

加快InnoDB mysql数据库的导入速度

1 个答案: