28 lines
828 B
Markdown
28 lines
828 B
Markdown
# 部署多进程 datax
|
||
|
||
- 两组 job
|
||
- 第一组每天 5 点执行一次，每次最多并行 3 个 job，每个 job 超时时间十五分钟
|
||
- 第二组每天 6 点执行一次，每次最多并行 4 个 job，每个 job 超时时间一小时
|
||
- 根据实际环境修改
|
||
- docker-compose.yml
|
||
- datax/job/xxxx.json
|
||
|
||
- 创建目录
|
||
```
|
||
grep '\<source:' docker-compose.yml | cut -d: -f2 | xargs mkdir -p
|
||
```
|
||
|
||
- 把第一组任务的 job 配置文件(xxxx.json)放在 /compose/datax1/job/ 下
|
||
- 把第二组任务的 job 配置文件(xxxx.json)放在 /compose/datax2/job/ 下
|
||
- 启动
|
||
```
|
||
docker-compose up -d
|
||
```
|
||
|
||
- 添加定时任务
|
||
```
|
||
* 5 * * * docker-compose -f /compose/docker-compose.yml up -d datax1
|
||
* 6 * * * docker-compose -f /compose/docker-compose.yml up -d datax2
|
||
```
|
||
|