Node.js:如何将stream读入缓冲区?

我写了一个非常简单的函数,从给定的URL下载图像,resize并上传到S3(使用'gm'和'knox'),我不知道是否正确地读取stream到缓冲区。 (一切正常,但这是正确的方式?)

另外,我想了解关于事件循环的一些事情,我怎么知道函数的一个调用不会泄漏任何东西,或者将“buf”variables更改为另一个已经运行的调用(或者这种情况是不可能的,因为callback是匿名的function?)

var http = require('http'); var https = require('https'); var s3 = require('./s3'); var gm = require('gm'); module.exports.processImageUrl = function(imageUrl, filename, callback) { var client = http; if (imageUrl.substr(0, 5) == 'https') { client = https; } client.get(imageUrl, function(res) { if (res.statusCode != 200) { return callback(new Error('HTTP Response code ' + res.statusCode)); } gm(res) .geometry(1024, 768, '>') .stream('jpg', function(err, stdout, stderr) { if (!err) { var buf = new Buffer(0); stdout.on('data', function(d) { buf = Buffer.concat([buf, d]); }); stdout.on('end', function() { var headers = { 'Content-Length': buf.length , 'Content-Type': 'Image/jpeg' , 'x-amz-acl': 'public-read' }; s3.putBuffer(buf, '/img/d/' + filename + '.jpg', headers, function(err, res) { if(err) { return callback(err); } else { return callback(null, res.client._httpMessage.url); } }); }); } else { callback(err); } }); }).on('error', function(err) { callback(err); }); }; 

       

网上收集的解决方案 "Node.js:如何将stream读入缓冲区?"

总的来说,我没有看到任何会破坏你的代码。

两点build议:

组合Buffer对象的方式是不理想的,因为它必须复制每个“data”事件上的所有预先存在的数据。 把数据块放在一个数组中,最后把它们连接起来会更好。

 var bufs = []; stdout.on('data', function(d){ bufs.push(d); }); stdout.on('end', function(){ var buf = Buffer.concat(bufs); 

为了提高性能,我会考虑你正在使用的S3库是否支持stream。 理想情况下,您根本不需要创build一个大的缓冲区,而只需将stdoutstream直接传递给S3库。

至于你的问题的第二部分,这是不可能的。 当一个函数被调用的时候,它被分配了它自己的私有上下文,并且里面定义的所有东西都只能从该函数中定义的其他项中访问。

更新

将文件转储到文件系统可能意味着每个请求的内存使用量更less,但文件IO可能非常慢,因此可能不值得。 我想说,你不应该优化太多,直到你可以剖析和压力testing这个function。 如果垃圾收集器正在做它的工作,你可能会过度优化。

尽pipe如此,反正有更好的方法,所以不要使用文件。 由于所有你想要的是长度,你可以计算,而不需要将所有的缓冲区附加在一起,所以你根本不需要分配一个新的缓冲区。

 var pause_stream = require('pause-stream'); // Your other code. var bufs = []; stdout.on('data', function(d){ bufs.push(d); }); stdout.on('end', function(){ var contentLength = bufs.reduce(function(sum, buf){ return sum + buf.length; }, 0); // Create a stream that will emit your chunks when resumed. var stream = pause_stream(); stream.pause(); while (bufs.length) stream.write(bufs.shift()); stream.end(); var headers = { 'Content-Length': contentLength, // ... }; s3.putStream(stream, ....); 

一个相关的项目是node-stream-buffer 。 说明:“使用支持缓冲区的可读写stream”。

我build议在最后只有一次缓冲区和连续数组到结果缓冲区。 它很容易手动,或者可以使用节点缓冲区

我只想发布我的解决scheme。 以前的答案对我的研究很有帮助。 我使用length-stream来获取stream的大小,但问题在于callback在stream结束时被触发,所以我也使用stream-cache来cachingstream,并且在我知道的时候将其传递给res对象内容长度。 如果出现错误,

 var StreamCache = require('stream-cache'); var lengthStream = require('length-stream'); var _streamFile = function(res , stream , cb){ var cache = new StreamCache(); var lstream = lengthStream(function(length) { res.header("Content-Length", length); cache.pipe(res); }); stream.on('error', function(err){ return cb(err); }); stream.on('end', function(){ return cb(null , true); }); return stream.pipe(lstream).pipe(cache); }