Articles of csv

在.CSV中查找唯一值

我有一个吨的.CSV数据文件,我的意思是一个TON(8000万行)的数据。 数据全部在两列,如下所示: src | dst 123123 | 456456 321321 | 654654 987987 | 789789 123123 | 456456 等八千万行。 (注意:我知道分隔符应该是.CSV中的',',但在这种情况下是'|',文件扩展名仍然是.CSV) 我试图弄清楚如何编写一个程序来读取所有的数据,并在'src'字段中输出重复值的数量。 例如,在我的例子中,输出看起来像'123123:出现2次' 我已经尝试了几个解决scheme,最值得注意的是: 如果每行都包含不同数量的字段(数字相当大),如何正确读取CSV文件? 我写了一个循环来将'drc'中的'src'拆分成'newData'作为.CSV文件 //go through each line and split + link the data to src/dst data.forEach(function (line) { newData = line.split('|'); //note, split returns an array let src = newData[0]; //src from data.csv let […]

如何validationnode.js中的csv文件?

我有一个大的csv文件,我需要转换为json,然后将数据存储到neo4j。 我为node.js使用了csv-parser插件。 这工作正常,如果csv是有效的。 但是,如果它是无效的,那么neo4j中的数据将被加扰。 因此,我需要validation该文件,然后才能将其发送到我的数据库。 有没有现有的插件可用或有我自己的方式来validationCSV文件?

meteor/ Node.jsparsing大量的文件变得非常缓慢

我有大约1000个需要parsing的CSV文件。 每个包含约1000行,总计100万条logging。 数据需要转换,然后保存到数据库,这就是为什么我必须通过我的应用程序来做到这一点。 我的问题是parsing器在循环遍历文件时逐渐变慢,直到完成运行需要永久的时间。 这是如何设置的。 var files = [ file1Path, file2Path…. file1000Path ]; function parseFile(index) { var startTime = new Date().getTime(); var filePath = files[index]; var stream = fs.createReadStream(filePath); //parse using fast-csv npm module csv.fromStream(stream, { config }) .on('data', function (row) { transformAndSave(row); }) .on('end', function () { console.log( new Date().getTime() – startTime + " […]

pipe道NodeJSstream到一个数组

我的用例是这样的:我正在阅读节点中的CSV文件,只有头。 我不想将读取stream的结果写入文件,而是一旦读取文件就将头部压入数组,所以我可以把这个数组放到后面去做。 或者,更好的是,在读取stream时,将其转换,然后将其发送到数组。 文件是一个人为的价值。 我被困在这一点,其中数据文件的当前输出是一个空的数组: const fs = require('fs'); const parse = require('csv-parse'); const file = "my file path"; let dataFile = []; rs = fs.createReadStream(file); parser = parse({columns: true}, function(err, data){ return getHeaders(data) }) function getHeaders(file){ return file.map(function(header){ return dataFile.push(Object.keys(header)) }) } 为了得到我需要的结果,我需要做什么? 我期待在数组中find标题作为最终结果。

如何使用nodejs将数据存储到aerospike?

我尝试使用put()命令使用nodejs将一个CSV文件添加到aerospike中。 它显示所有logging,但只存储最后一条logging。 我需要使用客户端节点js将整个CSV文件存储到aerospike中。 client.put(key, rec, function (error) { if (error) { console.log('error: %s ', error.message) } else { console.log('Record %d written to database successfully.',count) } 如何使用客户端的nide js在aerospike中存储CSV文件?

比较和匹配2个CSV文件

我有2个文件(两个文件都是> 1,000,000行): 第一个文件只包含一个md5散列 第二个文件包含md5; emailadress 现在我必须比较这两个文件,如果md5哈希是相同的 – >写在一个单独的文件emailadress。 我尝试了与MySQL和join SELECT `email` FROM `intern` INNER JOIN `extern` ON `intern`.`md5` = `extern`.`md5` 并阅读2 csv并比较它在2个循环。 的NodeJS: fs.readFile('public/md5-data/reachadout.csv', (err, internFile) => { fs.readFile('public/md5-data/customer.csv', (err, externFile) => { var internLines = internFile.toString().split('\n'); var externLines = externFile.toString().split('\n'); internLines.forEach(function(iLine){ var internCells = iLine.split(';'); if(externLines.indexOf(internCells[0]) > -1){ fs.appendFileSync('public/md5-data/blacklist.csv', internCells[1] + '\n'); } }) […]

Nodejs从json创buildexcel(csv / xlsx)缓冲文件

我正在寻找将从json创buildexcel文件(csv和xlsx)的库 我有一些对象 var arr=[ { "name": "Ivy Dickson", "date": "2013-05-27T11:04:15-07:00", "number": 10 }, { "date": "2014-02-07T22:09:58-08:00", "name": "Walker Lynch", "number": 2 }, { "number": 5, "date": "2013-06-16T05:29:13-07:00", "name": "Maxwell U. Holden" }, { "name": "Courtney Short", "date": "2014-03-14T07:32:34-07:00", "number": 6 } ] 我想将其转换成Excel文件缓冲区。 我没有得到哪个图书馆是最适合我的条件。 请build议更好的图书馆。

从javascript Node.js调用mongoexport

我想将Mongo Collection导出为.csv。 Mongo为此提供了一个解决scheme,但它仅限于shell。 http://docs.mongodb.org/manual/reference/mongoexport/ 我为node.js使用本地驱动程序,并希望能够在脚本中执行此操作,而不是从shell中调用。

在mongoose的对象数组上使用循环保存模型。 所有插入时都需要回拨

我需要在MongoDB中转储一个csv。 我为此使用了节点csv插件。 我所做的是我通过遍历行生成了一个json对象的数组。 在接下来的步骤中,我计划循环访问这个数组,并使用mongoose在集合中插入文档。 我这样做: for (var i = 0; i <= dataArray.length; i++) { var contact = new models.contact(dataArray[i]); contact.save(function (err) { console.log(i); if (err) { console.log(err); } else { //some logic goes here } }) } 只要插入是唯一的担心,这工作正常。 我需要有一个callback,当所有的logging插入时被触发。 我看了这个,但是看了第二个答案后还是不服气。 那么用适当的validation在mongodb中倾销csv可以接受的方法是什么?

如何使用node.js从.list文件中提取数据

我有一个包含电影信息的.list文件。 该文件格式如下 New Distribution Votes Rank Title 0000000125 1176527 9.2 The Shawshank Redemption (1994) 0000000125 817264 9.2 The Godfather (1972) 0000000124 538216 9.0 The Godfather: Part II (1974) 0000000124 1142277 8.9 The Dark Knight (2008) 0000000124 906356 8.9 Pulp Fiction (1994) 我到目前为止的代码如下: //modules ill be using var fs = require('fs'); var csv = require('csv'); csv().from.path('files/info.txt', […]