最新消息:雨落星辰是一个专注网站SEO优化、网站SEO诊断、搜索引擎研究、网络营销推广、网站策划运营及站长类的自媒体原创博客

Crawlee如何并行运行多个爬虫?我得到一些错误

网站源码admin40浏览0评论

Crawlee如何并行运行多个爬虫?我得到一些错误

Crawlee如何并行运行多个爬虫?我得到一些错误

我在我的项目中使用Crawlee

我想通过这种方式并行运行2个爬虫

await Promise.all([
  crawler1.run(),
  crawler2.run(),
]);

但是我得到这个错误:

ENOENT: no such file or directory, open 'D:\project-crawler\storage\request_queues\default\iMCIUbrRaOsVice.json']

如果我评论其中一个爬虫,它可以正常工作:

await Promise.all([
  crawler1.run(),
  // crawler2.run(),
]);
回答如下:
发布评论

评论列表(0)

  1. 暂无评论