Question

我在Cqlsh中遇到以下错误。复制命令运行几秒钟然后停止。

期待您的帮助。

谢谢，

Connected to DRM at 127.0.0.1:9042.
[cqlsh 5.0.1 | Cassandra 2.1.8 | CQL spec 3.2.0 | Native protocol v3]
Use HELP for help.
cqlsh> use myworld;
cqlsh:myworld> copy citizens (id, first_name, last_name, house_no, street, city, country,ssn,phone,bank_name,account_no) from '/home/rashmi/Documents/MyData/Road/PeopleData-18-Jun-1.txt';
Processed 110000 rows; Write: 47913.28 rows/s
Connection heartbeat failure
Aborting import at record #1196. Previously inserted records are still present, and some records after that may be present as well.

我有三个节点设置。 192.168.1.10,11和12. 11是种子。

CREATE KEYSPACE myworld WITH REPLICATION =  { 'class' : 'SimpleStrategy', 'replication_factor' : 1}

create ColumnFamily citizens (id uuid,
first_name varchar,
last_Name varchar, 
house_no varchar,
street varchar,
city varchar,
country varchar,
ssn varchar,
phone varchar,
bank_Name varchar,
account_no varchar,
PRIMARY KEY ((Country,city),ssn));

来自Cassandra.yaml

cluster_name: 'DRM'

(##)initial_token: 0
seeds: "192.168.1.11"
listen_address: 192.168.1.11
endpoint_snitch: GossipingPropertyFileSnitch

Answer 1

对我自己的问题进行一些更新，如果有帮助的话。

环境

我的设置基于Cassandra 2.2和三台笔记本电脑上的Ubuntu 14

I7 MQ 4700 / 16gigs / 1TB驱动器
I7 MQ 4710/16演出/ 1TB驱动器
I7 670/4 Gig / 500GB驱动器（旧机器）

Keyspace复制因子为3。前两台机器上的Java堆为8GB，最大容量为400 Megs。

通过我的互联网路由器使用无线网络。

目的

导入多个70 Gig CSV文件，其中包含330多万个虚拟金融交易。

问题

心跳之间的失败。在导入几百万行之后的某个时候，有些行在2.3亿之后。

调查结果

使用无线，ping到路由器和其他节点的速度超过200毫秒。使用Cat 5e和Cat 6电缆连接节点。将ping减少到＆lt; .3 MS。
停止执行额外的重磁盘导向任务，例如同时复制70多个gig文件，并查询繁重的CQLSH命令，如select，查询磁盘空间和10K数据文件。

数据摄取被调节到大约每秒9K行，可能使用大部分磁盘。

第三个节点有磁盘问题，介于两者之间。大量提示。

当前

每天使用一台机器每天导入700多万行。第二次同时导入过程会导致心跳错误。

下一步

寻求在没有硬件更改的情况下将摄取量提高两倍当前速率的方法。

谢谢，

Cassandra Copy命令 - 连接心跳失败

1 个答案:

环境

目的

问题

调查结果

当前

下一步