我有一个sqoop导出作业,用于将每个用户唯一计数从hdfs导出到mysql。
以下是使用的表格:
CREATE TABLE IF NOT EXISTS user_uniques (
user_id int(10) unsigned NOT NULL,
uniques int(10) unsigned NOT NULL DEFAULT '0',
PRIMARY KEY (user_id)
) ENGINE=InnoDB
下面是使用的示例插入/更新语句:
INSERT INTO user_uniques (user_id, uniques) VALUES (1,200), (2,300), (3,400) ON DUPLICATE KEY UPDATE uniques = VALUES(uniques)
我们每个语句插入100条记录,每个事务插入100条语句。但吞吐量非常低。
我们可以依赖其他任何upsert技术来获得更好的性能吗?
谢谢!