并行执行Cassandra prepared语句返回无效的JSON作为结果

时间:2016-04-14 11:04:51

标签: c# cassandra prepared-statement datastax

当我使用预准备语句进行多个语句的异步执行时,我得到了带有损坏数据的JSON。键和值完全被破坏了。

首先,当我使用自定义脚本对项目进行压力测试时,我遇到了这个问题。我们正在使用DataStax C ++驱动程序并执行来自不同光纤的语句。

然后我试图隔离问题并编写简单的C#程序,它在循环中启动多个任务。每个任务使用一次创建的预准备语句从基础读取数据。对于某些行,结果完全混乱,例如:

预期(由cqlsh提取)

516b00a2-01a7-11e6-8630-c04f49e62c6b |  
lucid_lynx_value_45404 | 
precise_pangolin_value_618429 | 
saucy_salamander_value_302796 |    
trusty_tahr_value_873 | 
vivid_vervet_value_216045 | 
wily_werewolf_value_271991

实际

{
    "sa": "516b00a2-01a7-11e6-8630-c04f49e62c6b", 
    "lucid_lynx": "wily_werewolflue_45404", 
    "precise_pangolin": "precise_pangolin_value_618429", 
    "saucy_salamander": "saucy_salamander_value_302796", 
    "trusty_tahr": "trusty_tahr_value_873", 
    "vivid_vervet": "vivid_vervet_value_216045", 
    "wily_werewolf": "wily_werewolf_value_271991"
}

这是C#代码的主要部分。

static void Main(string[] args)
{
  const int task_count = 300;

  using(var cluster = Cluster.Builder().AddContactPoints(/*contact points here*/).Build())
  {
    using(var session = cluster.Connect())
    {
      var prepared = session.Prepare("select json * from test_neptunao.ubuntu where id=?");
      var tasks = new Task[task_count];
      for(int i = 0; i < task_count; i++)
      {
        tasks[i] = Query(prepared, session);
      }
      Task.WaitAll(tasks);
    }
  }
  Console.ReadKey();
}

private static Task Query(PreparedStatement prepared, ISession session)
{
  string id = GetIdOfRandomRow();
  var stmt = prepared.Bind(id);
  stmt.SetConsistencyLevel(ConsistencyLevel.One);
  return session.ExecuteAsync(stmt).ContinueWith(tr =>
  {
    foreach(var row in tr.Result)
    {
      var value = row.GetValue<string>(0);
      //some kind of output
    }
  });
}

带有测试数据库架构的CQL脚本。

CREATE KEYSPACE IF NOT EXISTS test_neptunao
WITH replication = {
    'class' : 'SimpleStrategy',
    'replication_factor' : 3
};

use test_neptunao;

create table if not exists ubuntu (
    id timeuuid PRIMARY KEY,
    precise_pangolin text,
    trusty_tahr text,
    wily_werewolf text, 
    vivid_vervet text,
    saucy_salamander text,
    lucid_lynx text
);

UPD

预期的JSON

{
    "id": "516b00a2-01a7-11e6-8630-c04f49e62c6b", 
    "lucid_lynx": "lucid_lynx_value_45404", 
    "precise_pangolin": "precise_pangolin_value_618429", 
    "saucy_salamander": "saucy_salamander_value_302796", 
    "trusty_tahr": "trusty_tahr_value_873", 
    "vivid_vervet": "vivid_vervet_value_216045", 
    "wily_werewolf": "wily_werewolf_value_271991"
}

UPD2

以下是上面提到的sample c# project

UPD3

升级到Cassandra 3.5后问题得到解决。

2 个答案:

答案 0 :(得分:6)

听起来好像您正在看CASSANDRA-11048(JSON查询不是线程安全的)。将Cassandra升级到具有此修复程序的版本是解决此问题的最佳方法。

答案 1 :(得分:0)

我在生成的JSON中看到的唯一错误是主键的名称,应该是&#34; id&#34; 而不是&#34; sa&#34; 即可。否则其他列是正确的。

{
    "sa": "516b00a2-01a7-11e6-8630-c04f49e62c6b", 
    "lucid_lynx": "wily_werewolflue_45404", 
    "precise_pangolin": "precise_pangolin_value_618429", 
    "saucy_salamander": "saucy_salamander_value_302796", 
    "trusty_tahr": "trusty_tahr_value_873", 
    "vivid_vervet": "vivid_vervet_value_216045", 
    "wily_werewolf": "wily_werewolf_value_271991"
}

您期望得到什么样的JSON结构?