我正在尝试构建一个MySQL database containing a subset of the Universal Medical Language System's Metathesaurus。该构建由两个 SQL 脚本执行,而这两个脚本又被 Bash 脚本调用。这些脚本是由MetaMorphoSys Java 应用程序动态生成的。
我唯一用于MySQL数据库的是converting the relational rows to RDF triples。此转换由single python script执行,该访问似乎可以访问MRSAT
表,但似乎没有使用ATUI
列(请参见下文)。因此,我不确定是否缺少主键是否会对编写RDF三元组所需的查询性能产生不利影响。
几年来,我每年完成一次或两次此任务,但我承认它永远不会完全顺利。
从Bash封装的SQL到此步骤,表的加载和建立索引都很好:
ALTER TABLE MRSAT ADD CONSTRAINT X_MRSAT_PK Primary BTREE(ATUI)
在1500到1800秒后始终由于Error Code: 2013. Lost connection to MySQL server during query
而失败。
我有两个问题:
ATUI
上没有MRSAT
主键的情况下继续前进吗?我有increased some timeouts,但尚未对该问题的其他答案提出所有建议中的更改。
由于磁盘空间使用问题,提供商的文档建议MySQL 5.5高于5.6。无论如何,我还是在运行Ubuntu 18的大量AWS x1e.2xlarge实例上使用5.6(就像我过去所做的那样)。
该文档提供了5.5的调整建议,但在5.6文档中看不到等效的设置名称。我已经应用了这些:
bulk_insert_buffer_size = 100M
join_buffer_size = 100M
myisam_sort_buffer_size = 200M
query_cache_limit = 3M
query_cache_size = 100M
read_buffer_size = 200M
sort_buffer_size = 500M
我为key_buffer = 600M
做过key_buffer_size= 600M
。我没有为table_cache = 300
这里是关于有问题的桌子的大小和形状的一些说明。
$ wc -l MRSAT.RRF
39383949 MRSAT.RRF
该脚本应该将主键设置为字母数字列ATUI
mysql> select * from MRSAT limit 9;
+----------+----------+----------+-----------+-------+---------+-------------+-------+--------+-----+------------+----------+------+
| CUI | LUI | SUI | METAUI | STYPE | CODE | ATUI | SATUI | ATN | SAB | ATV | SUPPRESS | CVF |
+----------+----------+----------+-----------+-------+---------+-------------+-------+--------+-----+------------+----------+------+
| C0000005 | L0000005 | S0007492 | A26634265 | AUI | D012711 | AT212456753 | NULL | TH | MSH | UNK (19XX) | N | NULL |
| C0000005 | L0000005 | S0007492 | A26634265 | AUI | D012711 | AT212480766 | NULL | TERMUI | MSH | T037573 | N | NULL |
| C0000005 | L0000005 | S0007492 | A26634265 | SCUI | D012711 | AT60774257 | NULL | RN | MSH | 0 | N | NULL |
| C0000005 | L0270109 | S0007491 | A26634266 | AUI | D012711 | AT212327137 | NULL | TERMUI | MSH | T037574 | N | NULL |
| C0000005 | L0270109 | S0007491 | A26634266 | AUI | D012711 | AT212456754 | NULL | TH | MSH | UNK (19XX) | N | NULL |
| C0000005 | NULL | NULL | NULL | CUI | NULL | AT00368929 | NULL | DA | MTH | 19900930 | N | NULL |
| C0000005 | NULL | NULL | NULL | CUI | NULL | AT01344283 | NULL | MR | MTH | 20020910 | N | NULL |
| C0000005 | NULL | NULL | NULL | CUI | NULL | AT02319637 | NULL | ST | MTH | R | N | NULL |
| C0000039 | L0000035 | S0007560 | A26674543 | AUI | D015060 | AT212481191 | NULL | TH | MSH | UNK (19XX) | N | NULL |
+----------+----------+----------+-----------+-------+---------+-------------+-------+--------+-----+------------+----------+------+
9 rows in set (0.07 sec)