Question

Loggly处理的客户端每秒请求的数量是多少？我每秒只能处理大约10-20个请求，我想知道这是否正常。

Answer 1

我刚刚运行了一系列测试，发现使用syslog-ng通过tcp连接无法真正处理。

以下是我想要试用的测试结果。我使用了balabit的“loggen”程序，并向loggly分配给我的tcp端口发送了200字节的消息。请注意，尽管syslog RFC（至少3164）声明日志消息不应超过1024字节，但我使用200字节数据包只是为了公平，因为许多消息都很小。

注册一个免费帐户。配置TCP连接进行测试。尝试发送各种金额，结果：

测试1：失败

loggen -iS -r 6000  -s 200 -I 100 logs.loggly.com 16225
Send error Broken pipe, results may be skewed.      
average rate = 1392.13 msg/sec, count=18296, time=13.142, (average) msg size=200, bandwidth=271.74 kB/sec

测试2：失败

loggen -iS -r 4000  -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.       
average rate = 2767.16 msg/sec, count=121146, time=43.779, (average) msg size=200, bandwidth=540.15 kB/sec

测试3：失败

loggen -iS -r 2500  -s 200 -I 100 logs.loggly.com 16225  
Send error Broken pipe, results may be skewed.      
average rate = 1931.27 msg/sec, count=85878, time=44.467, (average) msg size=200, bandwidth=376.98 kB/sec

测试4：失败

loggen -iS -r 2000  -s 200 -I 100 logs.loggly.com 16225    
Send error Broken pipe, results may be skewed.      
average rate = 1617.72 msg/sec, count=83134, time=51.389, (average) msg size=200, bandwidth=315.78 kB/sec

测试5：失败

loggen -iS -r 1000  -s 200 -I 100 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.      
average rate = 936.50 msg/sec, count=63331, time=67.624, (average) msg size=200, bandwidth=182.81 kB/sec

测试6：配置的持续时间为PASS，失败为＆gt; 100秒 - 参见测试7

loggen -iS -r 500  -s 200 -I 100 logs.loggly.com 16225  
average rate = 325.00 msg/sec, count=32501, time=100.001, (average) msg size=200, bandwidth=63.44 kB/sec

测试7：失败 - 更长时间内进行新测试@ 500 EPS并且管道在255秒后损坏：

loggen -iS -r 500  -s 200 -I 10000 logs.loggly.com 16225
Send error Broken pipe, results may be skewed.     
average rate = 323.35 msg/sec, count=82642, time=255.577, (average) msg size=200, bandwidth=63.12 kB/sec

测试8：失败（运行时间更长@ 200 EPS，但仍然失败）

loggen -iS -r 200  -s 200 -I 10000 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.      
average rate = 163.53 msg/sec, count=234090, time=1431.470, (average) msg size=200, bandwidth=31.92 kB/sec

测试9：失败（再次，跑得更久但仍然失败）

loggen -iS -r 50  -s 200 -I 10000 logs.loggly.com 16225    
Send error Broken pipe, results may be skewed.    
average rate = 47.36 msg/sec, count=89325, time=1886.014, (average) msg size=200, bandwidth=9.25 kB/sec

测试10：失败？（结果相同，但又失去了联系。很难相信他们无法处理10 eps？）

loggen -iS -r 10  -s 200 -I 10000 logs.loggly.com 16225 
Send error Broken pipe, results may be skewed.  
average rate = 9.94 msg/sec, count=1568, time=157.770, (average) msg size=200, bandwidth=1.94 kB/sec

是否进行了一些网络搜索以查看loggly实际上可以做什么，但是只有营销材料表明它是可扩展的，而不是它的可扩展性。我确实发现了这个： http://twitter.com/jordansissel/status/5948244626509824 每秒只有22个事件......

完全披露：我是LogZilla的创始人，因此我正在测试竞争对手，因为我们正在推出基于云的系统日志解决方案。我的测试表明，我们的软件能够处理每秒2,000到12,000个事件，具体取决于我们在云中使用的服务器。

Answer 2

我真的不知道，但我一直在寻找node.js的日志记录解决方案，但没有运气。

为什么？

因为我检查过的所有内容（未全部检查）都使用同步磁盘写入！ ...... AWFULLY会降低性能。

所以如果你问我 - 你应该重新考虑你的需求，并只记录你真正需要的东西。

Answer 3

我运行的测试类似于Clayton answer中的测试，因为他的结果让我担心Loggly如果我同时发送太多信息会丢弃消息。我想看看克莱顿在2012年遇到的问题是否仍然存在。

也就是说，这就是我发现运行loggen 60秒，每秒产生100,000条消息。

$ loggen -iS -r 100000 -s 200 -I 60 logs-01.loggly.com port
average rate = 34885.98 msg/sec, count=2093163, time=60.000, (average) msg size=200, bandwidth=6809.74 kB/sec

我也很好奇一些竞争对手会回来进行类似的测试，我发现了以下内容：

<强> Papertrail

loggen -iS -D -r 100000 -s 200 -I 60 logs2.papertrailapp.com PORT
average rate = 24344.71 msg/sec, count=1461327, time=60.026, (average) msg size=200, bandwidth=4752.09 kB/sec

<强> Logentries

$ loggen -iS -D -r 100000 -s 200 -I 60 api.logentries.com PORT
average rate = 14076.76 msg/sec, count=844609, time=60.000, (average) msg size=200, bandwidth=2747.78 kB/sec

显然，这些数字并不总是与系统随时间变化的数字相同。这只是给我们一个时间参考，指出他们在我运行测试时的反应。你的里程会有所不同！

更新：我对Loggly进行了更长时间（近3小时）的测试并收到以下内容：

loggen -iS -r 100000 -s 200 -I 10000 logs-01.loggly.com port 
average rate = 15869.22 msg/sec, count=158692177, time=10000.000, (average) msg size=200, bandwidth=3097.67 kB/sec

Loggly的最大吞吐量是多少？

3 个答案: