Articles of kue

Kue作业完成后执行callback

我已经看到这样的问题,但他们不回答我的问题。 我有一个function var kue = require('kue'); var jobs = kue.createQueue(); var create_job = function(data, callback){ jobs.create('job', { stuff: data }).save(); } 如何在jobs.process('job', function(job, done){ … )完成时callback jobs.process('job', function(job, done){ … ?

Node.js Kue自动处理作业,如果队列不为空

我是Kue新手,有一些问题。 希望你能帮我 :) 我读了所有Kue的文档,但是我看到只有一种方式来处理队列中的作业:手动调用处理。 如果队列为空,我需要尽快处理作业,如果队列不为空,则在先前完成后运行rest作业。 有没有办法做到这一点? 谢谢。 或者,如果我重新提出问题:如果具有特定types的职位将从队列中耗尽,将会发生什么? 我应该再次开始处理,还是在新作业出现后自动进行处理? 实际上,由于服务器端限制了请求,我需要适时传播API请求。

kue – 在不同文件中处理作业

我想我的queue.process函数在一个单独的文件,但module.exports不起作用。 kue.js: var kue = require('kue'); module.exports = function() { var queue = kue.createQueue(); queue.process('test', function(job, done) { console.log('job processed.'); done(); } } server.js: require('./kue'); //server stuff 没有错误。 我也有一个单独的function排队工作和它的工作。 这个问题似乎是在导入kue.js文件。

Kue:连续处理/轮询队列的最佳实践

连续处理添加到队列中的项目的最佳方式是什么? 我看到下面的方法 queue.process https://github.com/Automattic/kue#processing-jobs 但是这会处理并返回。 这个通话后添加的项目显然不被处理。 我想这样做: queue.on('job enqueue', function(id, type){ queue.process('email', function (job, done) { console.log('processing one: ' + job.id); done(null); }); }); 但不知道这是否会触发多个进程方法忽略当前的队列状态? 编辑: 我已经创build了一个处理程序来侦听“电子邮件”types,但只有在下面的情况下才会调用它。 除非我错过了一些东西,否则我会期待这个过程在这里运行10次? const queue = kue.createQueue(); queue.process('email', function (job, done) { email(job.id, job.data, done); }); var email = function(id, email, done) { console.log('job: %s, sent to: %s number: %s', […]

有条件的尝试与nodejs Kue

我在一个networking爬虫应用程序中使用kue 。 如果错误符合特定条件,我想设置某些失败作业的attempts 。 例如,如果错误是由套接字挂起引起的,则作业将以1分钟的间隔重试3次。 我的代码如下所示,但不起作用 var kue = require('kue'); var queue = kue.createQueue(); queue.process('grab', function (job, done){ //doCrawlingJob is async call and returns promise doCrawlingJob(job).then(function(result){ done(); }.catch(function(err){ if (err.message.indexOf("socket hang up") >= 0) { job.attempts(3).backoff({delay:60*1000}); job.save(function(){ done(err); }); } else { done(err); } ); }); //… var job = queue.create('grab', data).removeOnComplete(true).save();

你如何使用nodejs&kue创build一个排队的作业,然后自然退出?

使用nodejs和kue,我想插入一个长时间运行的作业到队列中,并忘记它。 工作人员将处理所有细节。 简短的例子: (function(){ var kue = require('kue'); var jobs = kue.createQueue(); var job = jobs.create('email', { foo: "bar" }).save(function(err){ console.log("saved"); jobs.shutdown( function(err){ console.log("shutting down"); },0); }); }()); // DOES NOT EXIT 作业被创build(并单独处理),但生成器进程不会在没有中断信号的情况下退出。 我不希望生产者进程保持资源或连接打开。 我不想听任何事情。 我希望能有一种“消防而忘记”的方法。 kue做这个吗? 怎么样? 谢谢! 编辑: 1:添加:lsof -p显示打开的tcp连接到端口6379(redis服务器) 2:我也尝试在closurescallback中调用job.client.quit()。

kue以“群集”模式多次处理预定作业

我已经设置了kue来运行Cluster模块,该模块为每个CPU核心提供了一个kue的subprocess。 当调度程序插入every键到redis时,一切似乎都是按顺序的 – every运行只有一个键集。 但是,当触发作业处理的时间到来时,所有subprocess(工作者)开始处理处理逻辑,这导致作业具有由单个“调度程序”条目触发的多个实例。 当以编程方式触发kue的新作业时,似乎不会发生此症状,使用kue API时也不会发生这种情况。 请指教。 主引导代码 var cluster = require('cluster'); var numCPUs = require('os').cpus().length; if (cluster.isMaster) { require('./init.js'); for (var i = 0; i < numCPUs; i++) { cluster.fork(); } cluster.on('online', function (worker) { console.log('Worker ' + worker.process.pid + ' is online'); }); cluster.on('exit', function (worker, code, signal) { console.log('Worker ' + […]

这是我正在使用的正确结构 – (kue,集群,节点)

嗨,我正在与kue , 群集 , redis ,node.js。 这里是一个非常简单的例子,稍后我会从外面调用testing函数。 我的目的是将一些传入作业添加到队列中并使用工作人员进行处理。 在我的情况下,当一个用户使用我的应用程序完成一个订单,他会收到一封电子邮件。 我会把电子邮件的详细信息发送到队列并使用工作人员进行处理。 var cluster = require('cluster'); var kue = require('kue'); var jobs = kue.createQueue(); var max_workers = 3; function test() { jobs.create('email', { title: 'welcome email for tj' , to: 'tj@learnboost.com' , template: 'welcome-email' }).save( function(err){ if( !err){} console.log( "no error"); }); if( cluster.isMaster ) { for […]

docker-compose安装程序不允许容器连接到redis

所以我写了一个节点应用程序,我的docker-compose.yml如下所示: version: '2' services: redis: image: "redis:latest" web: build: . ports: – "3000:3000" volumes: – .:/app links: – redis emailworker: build: . env_file: – ./.env command: node ./lib/workers/email.js volumes: – .:/app links: – redis smsworker: build: . env_file: – ./.env command: node ./lib/workers/sms.js volumes: – .:/app links: – redis 很简单,一个networking服务器,和两个工人来处理电子邮件和短信工作。 一切都很好,直到今天下午,什么都没有改变,但我的应用程序启动时,我不能再连接到redis容器。 我运行docker-compose up并在尝试使用kue节点模块连接到redis时出现以下错误: Error: Redis […]

节点Kue和subprocess – 从产生的进程中获取错误

我尝试通过Kue的作业队列产生一个执行cpu密集计算的subprocess。 我的代码目前看起来像这样: consumer.js var kue = require('kue'); var util = require('util'); var spawn = require('child_process').spawn; var jobs = kue.createQueue(); jobs.process('calc', 2, function(job, done){ var work = spawn('Rscript', ['opti2.R', job.data.file]); work.stderr.on('data', function (data) { job.log('stderr: ' + data); }); work.stdout.on('data', function (data) { job.log('stdout: ' + data); }); work.on('exit', function (code, signal) { console.log('child process exited […]