使用cassandra .net驱动程序,我们面临以下问题: 使用参数化INSERT插入大量行时,应用程序内存使用量不断增长:
class Program
{
static Cluster cluster = Cluster.Builder()
.AddContactPoints(ConfigurationManager.AppSettings["address"])
.Build();
static Session session = cluster
.Connect(ConfigurationManager.AppSettings["keyspace"]);
static int counter = 0;
static void Main(string[] args)
{
for (int i = 0; i < 50; i++)
{
new Thread(() =>
{
while (true)
{
new Person()
{
Name = Interlocked.Increment(ref counter).ToString(),
ID = Guid.NewGuid(),
Data = new byte[4096],
}.Save(session);
}
}).Start();
}
Console.ReadLine();
}
}
class Person
{
public Guid ID
{
get;
set;
}
public string Name
{
get;
set;
}
public byte[] Data
{
get;
set;
}
public void Save(Session session)
{
Stopwatch w = Stopwatch.StartNew();
session.Execute(session.Prepare(
"INSERT INTO Person(id, name, data) VALUES(?, ?, ?);")
.Bind(this.ID, this.Name, this.Data));
Console.WriteLine("{1} saved in {0} ms",
w.Elapsed.TotalMilliseconds, this.Name);
}
}
根据创建的内存转储,托管堆包含大量的小字节数组(大多数是第2代),可以追溯到内部TypeInterpreter类中的cassandra驱动程序的字节转换方法(InvConvert *)
您对我们如何摆脱这个问题有什么建议或想法吗?
答案 0 :(得分:5)
对于遇到此问题的其他任何人。我在创建大量Cassandra.ISession
时遇到内存问题,即使我通过using
语句正确处理它。更改我的代码以重用单个ISession
似乎已修复它。我不知道这是否是最佳解决方案。
答案 1 :(得分:1)
您正在为要插入的每条记录创建预备文件。在创建会话时尝试创建一次preparestatement。
答案 2 :(得分:0)
尽可能尝试使用dispose。也许你的垃圾收集无法清除。 您还应该编写Cassandra的开发人员。对我来说看起来像个错误。
这对你有帮助吗?