最新消息:雨落星辰是一个专注网站SEO优化、网站SEO诊断、搜索引擎研究、网络营销推广、网站策划运营及站长类的自媒体原创博客

如何手动实现背压

网站源码admin26浏览0评论

如何手动实现背压

如何手动实现背压

我有子进程,因为我正在通过管道流向父进程。

在 child.js 中

  let stream = readdirp(pathname);
  stream.pipe.pipe(process.stdout);   

在 parent.js 中

let file = child => {
  let estream = es.map((data, next) => {
    _this.s3MultiUpload(JSON.parse(data), data, next);
    //i uploding this files to s3.
  });
  child.on("end", (code, signal) => {
    console.log("stream ended"); // `here is my problem`
    child.kill();
  });
  child.on("exit", (code, signal) => {
    console.log(code);
    console.log(signal);
    child.kill();
  });
  return estream;
};
child = fork(filePath, { silent: true });
child.stdout.pipe(this.file(child));

我的问题是在我将所有文件上传到 s3 流之前就结束了。我研究了背压,但我不明白如何在这里实施?

我想我需要添加回调或其他东西来处理标准输出管道。我不知道

你能帮帮我吗

回答如下:

方法不必要地复杂。由于 IO 操作不受 CPU 限制,我们最好将 Promises 与 JavaScript 的

async
/
await
*
语法一起使用来执行并行文件上传。构建我们自己的同步机制很复杂,并且出现了许多重叠的语言和库级概念1.

基于 readdirp 文档,但注意到我对特定的上传 API 不熟悉,我建议按照这些思路

const readdirp = require('readdirp');
const util = require('util');
const fs = require('fs');

const readfile = util.promisify(fs.readfile);

(async function () {
  // Use streams to achieve small RAM & CPU footprint.
  // 1) Streams example with for-await. Node.js 10+ only.
  const paths = [];
  for await (const {path} of readdirp('pending-uploads')) {
    paths.push(path);
  }

  const uploadPromises = paths
    .map(readFile)
    .map(JSON.parse).
    .map(data => s3MultiUpload(data));

  await Promise.all(uploadPromises);
}());

1。背压是这些概念之一,产生于将 Reactive Extensions 库移植到用 Java 实现它的 JVM 的过程中。只是为了争论(理智?)考虑Erik Meijer关于背压的说法。

与本文相关的文章

发布评论

评论列表(0)

  1. 暂无评论