NodeJS child_process exec原理
今天工作中，遇到一个难缠的需求：在 nodejs 中用命令行方式运行一段 etl 脚本。数据库是 SAP 公司的 hana，相对冷门，驱动的接口和其他也有区别。需求中用到了await-exec这个库，其背后是 child-process,即用于创建和控制子进程。这个模块允许你在 Node.js 应用中运行外部命令、脚本或其他 Node.js 进程，并与这些子进程进行通信。通过 child_process，你可以执行 shell 命令、启动其他程序，甚至是在独立的 Node.js 环境中运行代码。
child-process 简介（AI）
child_process 是 Node.js 标准库中的一个模块，用于创建和控制子进程。这个模块允许你在 Node.js 应用中运行外部命令、脚本或其他 Node.js 进程，并与这些子进程进行通信。通过 child_process，你可以执行 shell 命令、启动其他程序，甚至是在独立的 Node.js 环境中运行代码。child_process 提供了几种方法来创建和管理子进程：
exec：
-
用于执行一个命令，并且将整个命令的输出缓存在内存中。
-
适合用于执行简单的命令，例如调用一个 shell 命令并收集结果。
-
代码示例：
const { exec } = require("child_process");
exec("ls -lh", (error, stdout, stderr) => {
if (error) {
console.error(`执行出错: ${error}`);
return;
}
console.log(`stdout: ${stdout}`);
console.error(`stderr: ${stderr}`);
});
spawn：
-
用于启动一个新的进程，并且可以通过流（streams）与该进程进行交互。
-
适合用于处理大输出或者需要与进程进行持续交互的场景。
-
代码示例：
const { spawn } = require("child_process");
const ls = spawn("ls", ["-lh", "/usr"]);
ls.stdout.on("data", (data) => {
console.log(`stdout: ${data}`);
});
ls.stderr.on("data", (data) => {
console.error(`stderr: ${data}`);
});
ls.on("close", (code) => {
console.log(`子进程退出码: ${code}`);
});
fork：
-
专门用于创建一个新的 Node.js 进程，并且能够很方便地在父子进程之间传递消息。
-
适合用于多进程处理的场景，例如将任务分配给多个子进程来并行处理。
-
代码示例：
const { fork } = require("child_process");
const child = fork("child.js");
child.on("message", (message) => {
console.log("来自子进程的消息:", message);
});
child.send("开始处理");
execFile：
-
类似于
exec，但execFile直接执行一个可执行文件，而不是通过 shell。 -
比
exec更加安全，因为不涉及 shell 命令解析。 -
代码示例：
const { execFile } = require("child_process");
execFile("node", ["--version"], (error, stdout, stderr) => {
if (error) {
console.error(`执行出错: ${error}`);
return;
}
console.log(`stdout: ${stdout}`);
});
主要用途：
-
自动化任务 ：可以用来执行 shell 脚本或其他命令行工具，自动化各种任务。
-
与系统交互 ：能够直接调用系统命令或运行外部程序。
-
多进程处理 ：通过
fork或spawn创建多个进程来并行处理任务，提升性能。child_process模块在需要与操作系统或其他程序交互时非常有用，同时也可以用来在 Node.js 中实现多进程并发处理。
痛苦的调试过程
在主进程脚本文件中，调用 cp 的代码片段：
const pipelineRet = await exec(`${tapCMD} | \
$TARGET_CLICKHOUSE_CMD -c $TARGET_CLICKHOUSE_HOME/config.json`);
其中 tapCMD 大致内容是node xxx.js。我发现，在 xxx.js 中无论打多少次 log，控制台都不会显示。我大概猜到是因为不在同一个进程的原因。只有在 throw Error 时，控制台才会打印出错误。可是这样一来，throw error 后面的代码就不会运行，给调试带来极大的不方便。后来，我研究了一下 cp 的 api，发现本不必如此麻烦。
const { exec } = require("child_process");
exec("node xxx.js", (error, stdout, stderr) => {
if (error) {
console.error(`执行出错: ${error}`);
return;
}
console.log(`stdout: ${stdout}`);
console.error(`stderr: ${stderr}`);
});
在 xxx.js 执行完毕后（或者意外退出），就会执行后面的回调函数，error 是 Error 加 stderr，steerr 对应的是 console.error 级别，stdout 就是 console.log。如果 error 存在，就会进入 if 中，return 返回，自然不会执行后面的打印 stdout。await-exec库的源代码与上面逻辑类似。
其实，正确的调试方式是 console.error 来取代 log，这样调试起来方便多了。
