使用强大的和(knox或aws-sdk)在Node.js上传文件到S3

我正尝试使用aws-sdk或knox将通过表单提交的文件直接上传到Amazon S3存储桶。 表格处理是强大的

我的问题是:如何正确使用aws-sdk(或knox)强大的处理stream使用这些库的最新function?

我知道这个话题已经在这里以不同的口味被提出来了,

  • 如何使用node.js强大的库来接收上传的文件并使用knox将其保存到Amazon S3?
  • 节点应用程序stream文件直接上传到亚马逊S3
  • 从一个节点强大的file upload (以及它在overiding form.onPart()上非常有用的接受的答案) 访问原始文件stream

不过,我相信答案有点过时和/或偏离主题(即CORS的支持,目前我不想使用它,因为各种原因)和/或最重要的是,没有提到最新的function或者aws-sdk(参见: https : //github.com/aws/aws-sdk-js/issues/13#issuecomment-16085442 )或者knox(特别是putStream()或者其可读的stream标记(req)变体) 在文档中 )。

经过几个小时的挣扎之后,我得出结论,我需要一些帮助(免责声明:我是一个相当新鲜的stream)。

HTML表单:

<form action="/uploadPicture" method="post" enctype="multipart/form-data"> <input name="picture" type="file" accept="image/*"> <input type="submit"> </form> 

Express bodyParser中间件是这样configuration的:

 app.use(express.bodyParser({defer: true})) 

POST请求处理程序:

 uploadPicture = (req, res, next) -> form = new formidable.IncomingForm() form.parse(req) form.onPart = (part) -> if not part.filename # Let formidable handle all non-file parts (fields) form.handlePart(part) else handlePart(part, form.bytesExpected) handlePart = (part, fileSize) -> # aws-sdk version params = Bucket: "mybucket" Key: part.filename ContentLength: fileSize Body: part # passing stream object as body parameter awsS3client.putObject(params, (err, data) -> if err console.log err else console.log data ) 

但是,我收到以下错误:

{[RequestTimeout:您的套接字到服务器的连接在超时期限内没有被读取或写入。 空闲连接将被closures。]

消息:“您的套接字连接到服务器没有读取或写入在超时期限内。 ',code:'RequestTimeout',名称:'RequestTimeout',statusCode:400,retryable:false}

一个knox版本的handlePart()函数也是这种方式定制的,可悲的是失败了:

 handlePart = (part, fileSize) -> headers = "Content-Length": fileSize "Content-Type": part.mime knoxS3client.putStream(part, part.filename, headers, (err, res) -> if err console.log err else console.log res ) 

我也得到一个大的res对象与400 statusCode某处。

在这两种情况下,Region都被configuration为欧洲西部1

补充笔记:

节点0.10.12

最新从npm(1.0.14)

npm(1.3.1)的最新aws-sdk

来自npm的最新knox(0.8.3)

       

网上收集的解决方案 "使用强大的和(knox或aws-sdk)在Node.js上传文件到S3"

那么根据Formidable的创造者 ,直接stream向Amazon S3是不可能的:

S3 API需要您在创build新文件时提供大小。 这些信息在完全收到之前不可用于多部分/表单数据文件。 这意味着stream是不可能的。

的确, form.bytesExpected是指整个表单的大小,而不是单个文件的大小。

因此,数据必须先上传到服务器上的内存或磁盘上。

使用AWS S3的multipartUpload( s3-upload-stream作为工作模块)和node-formidable的可读stream ,您可以将stream传输到上传,如下所示 :

 var formidable = require('formidable'); var http = require('http'); var util = require('util'); var AWS = require('aws-sdk'); var config = require('./config'); var s3 = new AWS.S3({ accessKeyId: config.get('S3_ACCESS_KEY'), secretAccessKey: config.get('S3_SECRET_KEY'), apiVersion: '2006-03-01' }); var s3Stream = require('s3-upload-stream')(s3); var bucket = 'bucket-name'; var key = 'abcdefgh'; http.createServer(function(req, res) { if (req.url == '/upload' && req.method.toLowerCase() == 'post') { var form = new formidable.IncomingForm(); form.on('progress', function(bytesReceived, bytesExpected) { //console.log('onprogress', parseInt( 100 * bytesReceived / bytesExpected ), '%'); }); form.on('error', function(err) { console.log('err',err); }); // This 'end' is for the client to finish uploading // upload.on('uploaded') is when the uploading is // done on AWS S3 form.on('end', function() { console.log('ended!!!!', arguments); }); form.on('aborted', function() { console.log('aborted', arguments); }); form.onPart = function(part) { console.log('part',part); // part looks like this // { // readable: true, // headers: // { // 'content-disposition': 'form-data; name="upload"; filename="00video38.mp4"', // 'content-type': 'video/mp4' // }, // name: 'upload', // filename: '00video38.mp4', // mime: 'video/mp4', // transferEncoding: 'binary', // transferBuffer: '' // } var start = new Date().getTime(); var upload = s3Stream.upload({ "Bucket": bucket, "Key": part.filename }); // Optional configuration //upload.maxPartSize(20971520); // 20 MB upload.concurrentParts(5); // Handle errors. upload.on('error', function (error) { console.log('errr',error); }); upload.on('part', function (details) { console.log('part',details); }); upload.on('uploaded', function (details) { var end = new Date().getTime(); console.log('it took',end-start); console.log('uploaded',details); }); // Maybe you could add compress like // part.pipe(compress).pipe(upload) part.pipe(upload); }; form.parse(req, function(err, fields, files) { res.writeHead(200, {'content-type': 'text/plain'}); res.write('received upload:\n\n'); res.end(util.inspect({fields: fields, files: files})); }); return; } // show a file upload form res.writeHead(200, {'content-type': 'text/html'}); res.end( '<form action="/upload" enctype="multipart/form-data" method="post">'+ '<input type="text" name="title"><br>'+ '<input type="file" name="upload" multiple="multiple"><br>'+ '<input type="submit" value="Upload">'+ '</form>' ); }).listen(8080); 

由于这篇文章太老了,我相信现在支持直接stream式传输,所以我花了很多时间阅读关于这个主题的过时的答案。

如果能够帮助任何人,无需安装软件包,就可以直接从客户端stream向s3。

https://gist.github.com/mattlockyer/532291b6194f6d9ca40cb82564db9d2a

服务器假定req是一个stream对象,在我的情况下,在xhr(send)中使用一个File对象,它将在现代浏览器中发送二进制数据。

 const fileUploadStream = (req, res) => { //get "body" args from header const { id, fn } = JSON.parse(req.get('body')); const Key = id + '/' + fn; //upload to s3 folder "id" with filename === fn const params = { Key, Bucket: bucketName, //set somewhere Body: req, //req is a stream }; s3.upload(params, (err, data) => { if (err) { res.send('Error Uploading Data: ' + JSON.stringify(err) + '\n' + JSON.stringify(err.stack)); } else { res.send(Key); } }); }; 

是的,它打破了惯例,但如果你看看这个要点,它比我发现依赖于其他软件包的任何东西都要干净得多。

+1为实用主义和感谢@SalehenRahman的帮助。