Loggly的最大吞吐量是多less?

Logcl每秒处理多less个请求? 我只能得到每秒处理10-20个请求,我想知道这是否正常。

       

网上收集的解决方案 "Loggly的最大吞吐量是多less?"

我只是运行了一堆testing,发现它不能通过使用syslog-ng的tcp连接真正处理。

这是我的testing结果,任何人想要尝试它。 我为此使用了balabit的“loggen”程序,并将200字节的消息发送给由loggly分配给我的tcp端口。 请注意,虽然系统日志RFC(至less3164)声明日志消息不应超过1024个字节,但我使用200字节的数据包只是公平的,因为许多消息都很小。

注册一个免费帐户。 configuration了一个TCP连接进行testing。 尝试发送各种数量,结果:

testing1:失败

loggen -iS -r 6000 -s 200 -I 100 logs.loggly.com 16225 Send error Broken pipe, results may be skewed. average rate = 1392.13 msg/sec, count=18296, time=13.142, (average) msg size=200, bandwidth=271.74 kB/sec 

testing2:失败

 loggen -iS -r 4000 -s 200 -I 100 logs.loggly.com 16225 Send error Broken pipe, results may be skewed. average rate = 2767.16 msg/sec, count=121146, time=43.779, (average) msg size=200, bandwidth=540.15 kB/sec 

testing3:失败

 loggen -iS -r 2500 -s 200 -I 100 logs.loggly.com 16225 Send error Broken pipe, results may be skewed. average rate = 1931.27 msg/sec, count=85878, time=44.467, (average) msg size=200, bandwidth=376.98 kB/sec 

testing4:失败

 loggen -iS -r 2000 -s 200 -I 100 logs.loggly.com 16225 Send error Broken pipe, results may be skewed. average rate = 1617.72 msg/sec, count=83134, time=51.389, (average) msg size=200, bandwidth=315.78 kB/sec 

testing5:失败

 loggen -iS -r 1000 -s 200 -I 100 logs.loggly.com 16225 Send error Broken pipe, results may be skewed. average rate = 936.50 msg/sec, count=63331, time=67.624, (average) msg size=200, bandwidth=182.81 kB/sec 

testing6:通过configuration的持续时间,失败大于100秒 – 见testing7

 loggen -iS -r 500 -s 200 -I 100 logs.loggly.com 16225 average rate = 325.00 msg/sec, count=32501, time=100.001, (average) msg size=200, bandwidth=63.44 kB/sec 

testing7:失败 – 进行一个更长时间的500 EPStesting,255秒后pipe道破裂:

 loggen -iS -r 500 -s 200 -I 10000 logs.loggly.com 16225 Send error Broken pipe, results may be skewed. average rate = 323.35 msg/sec, count=82642, time=255.577, (average) msg size=200, bandwidth=63.12 kB/sec 

testing8:失败(运行时间更长@ 200 EPS,但仍然失败)

 loggen -iS -r 200 -s 200 -I 10000 logs.loggly.com 16225 Send error Broken pipe, results may be skewed. average rate = 163.53 msg/sec, count=234090, time=1431.470, (average) msg size=200, bandwidth=31.92 kB/sec 

testing9:失败(再次运行更长,但仍然失败)

 loggen -iS -r 50 -s 200 -I 10000 logs.loggly.com 16225 Send error Broken pipe, results may be skewed. average rate = 47.36 msg/sec, count=89325, time=1886.014, (average) msg size=200, bandwidth=9.25 kB/sec 

testing10:失败? (相同的结果,但又失去了联系,很难相信他们不能处理10 eps?)

 loggen -iS -r 10 -s 200 -I 10000 logs.loggly.com 16225 Send error Broken pipe, results may be skewed. average rate = 9.94 msg/sec, count=1568, time=157.770, (average) msg size=200, bandwidth=1.94 kB/sec 

做了一些networkingsearch,看看loggly实际上可以做些什么,但是只有营销材料说它是可缩放的,而不是可扩展性。 我find了这个: http : //twitter.com/jordansissel/status/5948244626509824每秒只有22个事件…

完全披露:我是LogZilla的创始人,所以我正在testing竞争对手,因为我们正在启动一个基于云的系统日志解决scheme。 我的testing表明,我们的软件能够处理每秒2,000到12,000个事件,具体取决于我们在云中使用的服务器。

我真的不知道,但我一直在寻找一个node.js的日志解决scheme,也没有运气。

为什么?

因为所有那些我检查过(没有检查全部)正在使用同步磁盘写入! …… AWFULLY会降低性能。

所以,如果你问我 – 你应该重新考虑你的需求,并只logging你真正需要的东西。

我跑的testing类似于克莱顿的答案,因为他的结果让我担心,如果我同时发送太多的话, Loggly会丢弃消息。 我想看看克莱顿在2012年遇到的问题是否仍然存在。

这就是说,我发现运行loggen 60秒,每秒产生100,000条消息。

 $ loggen -iS -r 100000 -s 200 -I 60 logs-01.loggly.com port average rate = 34885.98 msg/sec, count=2093163, time=60.000, (average) msg size=200, bandwidth=6809.74 kB/sec 

我也好奇一些竞争对手会回来进行类似的testing,我发现以下几点:

Papertrail

 loggen -iS -D -r 100000 -s 200 -I 60 logs2.papertrailapp.com PORT average rate = 24344.71 msg/sec, count=1461327, time=60.026, (average) msg size=200, bandwidth=4752.09 kB/sec 

Logentries

 $ loggen -iS -D -r 100000 -s 200 -I 60 api.logentries.com PORT average rate = 14076.76 msg/sec, count=844609, time=60.000, (average) msg size=200, bandwidth=2747.78 kB/sec 

显然,这些并不是硬数字,随着时间的推移,系统总是会变化的。 这只是给我们一个时间参考他们如何回应,当我运行testing。 你的里程会有所不同!

更新 :我对Loggly运行了一个更长的时间(接近3小时),并收到以下内容:

 loggen -iS -r 100000 -s 200 -I 10000 logs-01.loggly.com port average rate = 15869.22 msg/sec, count=158692177, time=10000.000, (average) msg size=200, bandwidth=3097.67 kB/sec