多核计算机上的Node.js

2020/09/23 09:41 · javascript ·  · 0评论

Node.js看起来很有趣,但是我必须错过一些东西-Node.js是否仅调整为仅在单个进程和线程上运行?

那么,它如何扩展到多核CPU和多CPU服务器?毕竟,使速度尽可能快的单线程服务器非常好,但是对于高负载,我想使用多个CPU。同样,提高应用程序速度也是如此-今天看来,方法是使用多个CPU并使任务并行化。

Node.js如何适合这张图片?它的想法是以某种方式分发多个实例还是什么?

[ 该帖子是截至2012-09-02的最新信息(比上述更新)。]

Node.js绝对可以在多核计算机上扩展。

是的,Node.js是每个进程一个线程。这是一个非常刻意的设计决策,不需要处理锁定语义。如果您不同意这一点,您可能还没有意识到调试多线程代码有多么疯狂。有关Node.js流程模型以及它为何以这种方式工作(以及为什么它永远不支持多个线程)的更深入的解释,请阅读我的其他文章

那么,如何利用我的16芯盒呢?

两种方式:

  • 对于像图像编码这样的繁重的计算任务,Node.js可以启动子进程或将消息发送到其他工作进程。在此设计中,您将有一个线程管理事件流,并由N个进程执行繁重的计算任务,并消耗其他15个CPU。
  • 为了扩展Web服务的吞吐量,您应该在一台机器上运行多个Node.js服务器,每个内核一个,并在它们之间分配请求流量。这提供了出色的CPU亲和力,并且将通过内核数几乎线性地扩展吞吐量。

在Web服务上扩展吞吐量

由于v.6.0.X Node.js 直接包含了群集模块,因此可以轻松设置可以在单个端口上侦听的多个节点工作程序。请注意,这与可通过npm获得的较早的learningboost“集群”模块不同

if (cluster.isMaster) {
  // Fork workers.
  for (var i = 0; i < numCPUs; i++) {
    cluster.fork();
  }
} else {
  http.Server(function(req, res) { ... }).listen(8000);
}

工人将竞争接受新的连接,而负荷最小的过程最有可能获胜。它工作得很好,并且可以在多核设备上很好地扩展吞吐量。

如果您有足够的负载来关心多个内核,那么您将要做更多的事情:

  1. NginxApache之类的Web代理后面运行Node.js服务-可以进行连接限制(除非您希望过载条件完全关闭),重写URL,提供静态内容并代理其他子服务。

  2. 定期回收您的工作程序。对于长时间运行的过程,即使是很小的内存泄漏也会最终加起来。

  3. 设置日志收集/监控


PS:在另一篇文章的评论中,Aaron和Christopher之间进行了讨论(在撰写本文时,这是其最高文章)。关于此的一些评论:

  • 共享套接字模型非常方便,允许多个进程在单个端口上侦听并竞争接受新的连接。从概念上讲,您可以想到预先分支的Apache这样做,但有一个重要的警告,即每个进程将只接受一个连接然后死亡。Apache的效率损失是在派生新进程的开销中,与套接字操作无关。
  • 对于Node.js,让N个工人在单个套接字上竞争是一个非常合理的解决方案。另一种选择是像Nginx一样设置机载前端,并让该代理将流量传递给各个工作人员,在工作人员之间交替分配新的连接。两种解决方案具有非常相似的性能特征。而且,如上所述,由于您可能还是希望Nginx(或替代方法)在您的节点服务之前,因此这里的选择实际上是:

共享端口: nginx (port 80) --> Node_workers x N (sharing port 3000 w/ Cluster)

各个端口: nginx (port 80) --> {Node_worker (port 3000), Node_worker (port 3001), Node_worker (port 3002), Node_worker (port 3003) ...}

可以说,单个端口设置有一些好处(可能会减少进程之间的耦合,具有更复杂的负载平衡决策等),但是设置绝对是更多的工作,并且内置集群模块的成本很低适用于大多数人的-complexity替代方案。

一种方法是在服务器上运行多个node.js实例,然后在它们前面放置一个负载平衡器(最好是像nginx这样的非阻塞式负载平衡器)。

瑞安·达尔(Ryan Dahl )在去年夏天在Google进行的技术演讲中回答了这个问题简而言之,“只需运行多个节点进程并使用明智的方法进行通信即可,例如sendmsg()型IPC或传统RPC”。

如果您想立即弄脏手,请查看spark2 Forever模块。它使生成多个节点进程变得异常容易。它负责设置端口共享,因此它们每个都可以接受到同一端口的连接,并且如果要确保进程在终止时重新启动,还可以自动重生。

更新-11/11/11:节点社区的共识似乎是群集现在是用于管理每台计算机的多个节点实例的首选模块。 永远也值得一看。

您可以使用集群模块。检查一下

var cluster = require('cluster');
var http = require('http');
var numCPUs = require('os').cpus().length;

if (cluster.isMaster) {
    // Fork workers.
    for (var i = 0; i < numCPUs; i++) {
        cluster.fork();
    }

    cluster.on('exit', function(worker, code, signal) {
        console.log('worker ' + worker.process.pid + ' died');
    });
} else {
    // Workers can share any TCP connection
    // In this case its a HTTP server
    http.createServer(function(req, res) {
        res.writeHead(200);
        res.end("hello world\n");
    }).listen(8000);
}

多节点可利用您可能拥有的所有核心。

看看
http://github.com/kriszyp/multi-node

为了更简单的需求,您可以在不同的端口号上启动节点的多个副本,并在它们前面放置一个负载均衡器。

Node Js支持集群以充分利用您的cpu。如果您不通过群集运行它,则可能是在浪费硬件功能。

Node.js中的群集允许您创建可以共享同一服务器端口的单独进程。例如,如果我们在端口3000上运行一台HTTP服务器,那么它就是在处理器单核上的单线程上运行的一台服务器。

下面显示的代码使您可以集群应用程序。该代码是由Node.js表示的正式代码。

var cluster = require('cluster');
var numCPUs = require('os').cpus().length;

if (cluster.isMaster) {
    // Fork workers.
    for (var i = 0; i < numCPUs; i++) {
        cluster.fork();
    }

    Object.keys(cluster.workers).forEach(function(id) {
        console.log("I am running with ID : " + cluster.workers[id].process.pid);
    });

    cluster.on('exit', function(worker, code, signal) {
        console.log('worker ' + worker.process.pid + ' died');
    });
} else {

    //Do further processing.
}

在这篇文章中查看完整的教程

如上所述,群集将在所有核心上扩展和平衡您的应用程序。


添加类似的东西

cluster.on('exit', function () {
  cluster.fork();
});

将重新启动所有失败的工作程序。

如今许多人也更喜欢PM2,它可以为您处理集群并提供一些很酷的监视功能

然后,在运行群集的多台计算机前添加Nginx或HAProxy,您将拥有多个级别的故障转移和更高的负载容量。

节点的未来版本将允许您派生一个进程并将消息传递给该进程,Ryan表示他想找到一种共享文件处理程序的方法,因此它不是直接的Web Worker实现。

目前还没有一个简单的解决方案,但是还很早,node是我见过的发展最快的开源项目之一,因此希望在不久的将来有很棒的事情。

Spark2基于现在不再维护的Spark。集群是它的后继者,它具有一些很酷的功能,例如每个CPU内核产生一个工作进程,并重新产生死亡的工作程序。

集群模块允许你利用你的机器的所有核心。实际上,您可以仅使用2个命令就可以利用此功能,而无需使用非常流行的流程管理器pm2修改代码

npm i -g pm2
pm2 start app.js -i max

我正在使用Node worker从主进程以一种简单的方式运行进程。在我们等待正式发布之时,似乎工作做得很好。

这里的新手是LearnBoost的“ Up”

它提供“零宕机时间重新加载”功能,并另外创建多个工作程序(默认情况下为CPU数量,但可配置),以提供最佳性能。

它是新的,但似乎非常稳定,我在我当前的项目之一中愉快地使用它。

您可以通过将集群模块与os模块结合使用来在多个内核上运行node.js应用程序,该模块可用于检测您有多少个CPU。

例如,假设您有一个server在后端运行简单http服务器模块,并且希望为多个CPU运行它:

// Dependencies.
const server = require('./lib/server'); // This is our custom server module.
const cluster = require('cluster');
const os = require('os');

 // If we're on the master thread start the forks.
if (cluster.isMaster) {
  // Fork the process.
  for (let i = 0; i < os.cpus().length; i++) {
    cluster.fork();
  }
} else {
  // If we're not on the master thread start the server.
  server.init();
}

还可以将Web服务设计为几个侦听unix套接字的独立服务器,以便您可以将诸如数据处理之类的功能推送到单独的进程中。

这类似于大多数scrpring /数据库Web服务器体系结构,在该体系结构中,cgi进程处理业务逻辑,然后通过unix套接字将数据推入和拉出到数据库。

区别在于数据处理被编写为侦听端口的节点Web服务器。

它更加复杂,但最终还是要进行多核开发。一个针对每个Web请求使用多个组件的多进程体系结构。

使用纯TCP负载平衡器(HAProxy)在每个运行一个NodeJS进程的多个框之前,可以将NodeJS扩展到多个框。

如果您随后在所有实例之间共享一些常识,则可以使用中央Redis商店或类似商店,然后可以从所有流程实例(例如,从所有包装箱中访问)

本文地址:http://javascript.askforanswer.com/duohejisuanjishangdenode-js.html
文章标签: ,   ,  
版权声明:本文为原创文章,版权归 javascript 所有,欢迎分享本文,转载请保留出处!

文件下载

老薛主机终身7折优惠码boke112

上一篇:
下一篇:

评论已关闭!