This commit is contained in:
2021-11-14 15:52:46 +08:00
parent 915c231124
commit 1e344dc204
112 changed files with 1039 additions and 1039 deletions

View File

@@ -6,10 +6,10 @@ tags: []
categories: ["clickhouse"]
---
# Kafka 表引擎简介
## Kafka 表引擎简介
- 对接 Kafka 系统,订阅 Kafka 主题,接收消息
# 创建 Kafka 引擎表
## 创建 Kafka 引擎表
- 声明
```sql
ENGINE = Kafka()
@@ -35,7 +35,7 @@ categories: ["clickhouse"]
- kafka_skip_broken_messages: 允许跳过的错误消息数量默认0
- kafka_commit_every_batch: kafka commit 频率,默认 0即整个 Block 完全写入后才 commit
# Kafka 表引擎其他参数
## Kafka 表引擎其他参数
- stream_poll_timeout_ms: 默认每 500ms 消费一次数据,写入缓存
- 刷新缓存触发条件:
- 一个数据块(kafka_max_block_size默认 65536)写入完成
@@ -48,7 +48,7 @@ categories: ["clickhouse"]
</kafka>
```
# Kafka 引擎表一般用法
## Kafka 引擎表一般用法
- 创建 Kafka 引擎表,充当数据管道
- 创建 MergeTree 引擎表,用于查询
- 创建物化视图,同步 kafka 数据到 MergeTree 引擎表