Node.js中的面向行的stream

我正在开发一个使用Node.js的多进程应用程序。 在这个应用程序中,父进程会产生一个subprocess,并通过pipe道使用基于JSON的消息传递协议与其进行通信。 我发现大的JSON消息可能会被“截断”,使得发送到pipe道上的数据侦听器的单个“块”不包含完整的JSON消息。 此外,小JSON消息可能被分组在同一块中。 每个JSON消息将由一个换行符分隔,所以我想知道是否已经有一个实用程序将缓冲pipe道读取stream,使它一次发出一行(因此,对于我的应用程序,一个JSON文档一次)。 这似乎是一个很常见的用例,所以我想知道是否已经完成。

我会很感激任何人可以提供的指导。 谢谢。

       

网上收集的解决方案 "Node.js中的面向行的stream"

也许佩德罗的运营商可以帮助你?

运营商可以帮助您在node.js上实现新的终止协议。

客户可以给你发送大量的线路,运营商只会在每一条完成的线路上通知你。

我对这个问题的解决scheme是发送JSON消息,每个终止一些特殊的Unicode字符。 一个你永远不会在JSONstring中获得的字符。 称它为TERM。

所以发件人只是“JSON.stringify(message)+ TERM;” 并写它。 接收者然后将TERM中的包含的数据拆分,并用JSON.parse()来parsing这些部分,这很快。 诀窍是最后一条消息可能无法parsing,所以我们只需保存该消息片段,并将其添加到下一条消息的开头。 接收代码如下所示:

s.on("data", function (data) { var info = data.toString().split(TERM); info[0] = fragment + info[0]; fragment = ''; for ( var index = 0; index < info.length; index++) { if (info[index]) { try { var message = JSON.parse(info[index]); self.emit('message', message); } catch (error) { fragment = info[index]; continue; } } } }); 

其中“片段”被定义为在数据块之间持续存在的地方。

但是什么是TERM? 我使用了Unicodereplace字符'\ uFFFD'。 也可以使用Twitter所使用的技术,其中消息由'\ r \ n'分隔,而推文使用'\ n'作为新行,并且不包含'\ r \ n'

我觉得这比用长度和类似的东西搞乱要简单得多。

最简单的解决scheme是将每条消息前面的json数据长度作为固定长度的前缀(4字节?)发送,并有一个简单的非成帧parsing器,用于caching小块或分裂大块。

您可以尝试使用节点二进制文件来避免手动编写parsing器。 看看scan(key, buffer)文档示例 – 它完全一行一行地阅读。

只要换行符(或者你使用的任何分隔符)只能分隔JSON消息而不是embedded它们,你可以使用下面的模式:

 const buf = '' s.on('data', data => { buf += data.toString() const idx = buf.indexOf('\n') if (idx < 0) { return } // No '\n', no full message let lines = buf.split('\n') buf = lines.pop() // if ends in '\n' then buf will be empty for (let line of lines) { // Handle the line } })