Skip to content

Commit cf3d682

Browse files
simenliuxingsimenliuxing
committed
readme format
1 parent faea88d commit cf3d682

File tree

10 files changed

+27
-27
lines changed

10 files changed

+27
-27
lines changed

‎README.md‎

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -18,8 +18,8 @@
1818

1919
# 已支持
2020
* 源表：kafka 0.9、0.10、0.11、1.x版本
21-
* 维表：mysql, SQlServer,oracle, hbase, mongo, redis, cassandra, serversocket, kudu, postgresql
22-
* 结果表：mysql, SQlServer, oracle, hbase, elasticsearch5.x, mongo, redis, cassandra, console, kudu, postgresql
21+
* 维表：mysql, SQlServer,oracle, hbase, mongo, redis, cassandra, serversocket, kudu, postgresql, clickhouse
22+
* 结果表：mysql, SQlServer, oracle, hbase, elasticsearch5.x, mongo, redis, cassandra, console, kudu, postgresql, clickhouse
2323

2424
# 后续开发计划
2525
* 维表快照

‎docs/elasticsearchSink.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -27,7 +27,7 @@ CREATE TABLE tableName(
2727
## 4.参数：
2828
|参数名称|含义|是否必填|默认值|
2929
|----|---|---|----|
30-
|type|表明 输出表类型[mysql\|hbase\|elasticsearch]|是||
30+
|type|表明 输出表类型[mysq|hbase|elasticsearch]|是||
3131
|address | 连接ES Transport地址(tcp地址)|是||
3232
|cluster | ES 集群名称 |是||
3333
|index | 选择的ES上的index名称|是||

‎docs/hbaseSide.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -35,7 +35,7 @@
3535

3636
|参数名称|含义|是否必填|默认值|
3737
|----|---|---|----|
38-
| type | 表明维表的类型[hbase\|mysql]|是||
38+
| type | 表明维表的类型[hbase|mysql]|是||
3939
| zookeeperQuorum | hbase 的zk地址;格式ip:port[;ip:port]|是||
4040
| zookeeperParent | hbase 的zk parent路径|是||
4141
| tableName | hbase 的表名称|是||

‎docs/hbaseSink.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -30,7 +30,7 @@ hbase2.0
3030

3131
|参数名称|含义|是否必填|默认值|
3232
|----|---|---|-----|
33-
|type | 表明 输出表类型[mysql\|hbase\|elasticsearch]|是||
33+
|type | 表明 输出表类型[mysq|hbase|elasticsearch]|是||
3434
|zookeeperQuorum | hbase zk地址,多个直接用逗号隔开|是||
3535
|zookeeperParent | zkParent 路径|是||
3636
|tableName | 关联的hbase表名称|是||

‎docs/kafkaSource.md‎

Lines changed: 5 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -32,7 +32,7 @@ CREATE TABLE tableName(
3232
| colName | 列名称|
3333
| colType | 列类型 [colType支持的类型](colType.md)|
3434
| function(colNameX) as aliasName | 支持在定义列信息的时候根据已有列类型生成新的列(函数可以使用系统函数和已经注册的UDF)|
35-
| WATERMARK FOR colName AS withOffset( colName , delayTime ) | 标识输入流生的watermake生成规则,根据指定的colName(当前支持列的类型为Long \| Timestamp) 和delayTime生成waterMark 同时会在注册表的使用附带上rowtime字段(如果未指定则默认添加proctime字段);注意：添加该标识的使用必须设置系统参数 time.characteristic:EventTime; delayTime: 数据最大延迟时间(ms)|
35+
| WATERMARK FOR colName AS withOffset( colName , delayTime ) | 标识输入流生的watermake生成规则,根据指定的colName(当前支持列的类型为Long | Timestamp) 和delayTime生成waterMark 同时会在注册表的使用附带上rowtime字段(如果未指定则默认添加proctime字段);注意：添加该标识的使用必须设置系统参数 time.characteristic:EventTime; delayTime: 数据最大延迟时间(ms)|
3636

3737
## 4.参数：
3838

@@ -43,8 +43,8 @@ CREATE TABLE tableName(
4343
|kafka.bootstrap.servers | kafka bootstrap-server 地址信息(多个用逗号隔开)|是||
4444
|kafka.zookeeper.quorum | kafka zk地址信息(多个之间用逗号分隔)|是||
4545
|kafka.topic | 需要读取的 topic 名称|是||
46-
|patterntopic | topic是否是正则表达式格式(true|false) |否| false
47-
|kafka.auto.offset.reset | 读取的topic 的offset初始位置[latest\|earliest\|指定offset值({"0":12312,"1":12321,"2":12312},{"partition_no":offset_value})]|否|latest|
46+
|patterntopic | topic是否是正则表达式格式(true|false) |否| false
47+
|kafka.auto.offset.reset | 读取的topic 的offset初始位置[latest|earliest|指定offset值({"0":12312,"1":12321,"2":12312},{"partition_no":offset_value})]|否|latest|
4848
|parallelism | 并行度设置|否|1|
4949
|sourcedatatype | 数据类型|否|json|
5050
|timezone|时区设置[timezone支持的参数](timeZone.md)|否|'Asia/Shanghai'
@@ -149,7 +149,7 @@ CREATE TABLE MyTable(
149149
|kafka.bootstrap.servers | kafka bootstrap-server 地址信息(多个用逗号隔开)|是||
150150
|kafka.zookeeper.quorum | kafka zk地址信息(多个之间用逗号分隔)|是||
151151
|kafka.topic | 需要读取的 topic 名称|是||
152-
|kafka.auto.offset.reset | 读取的topic 的offset初始位置[latest\|earliest]|否|latest|
152+
|kafka.auto.offset.reset | 读取的topic 的offset初始位置[latest|earliest]|否|latest|
153153
|parallelism | 并行度设置 |否|1|
154154
|sourcedatatype | 数据类型|是 |csv|
155155
|fielddelimiter | 字段分隔符|是 ||
@@ -208,7 +208,7 @@ create table kafka_stream(
208208
|kafka.bootstrap.servers | kafka bootstrap-server 地址信息(多个用逗号隔开)|是||
209209
|kafka.zookeeper.quorum | kafka zk地址信息(多个之间用逗号分隔)|是||
210210
|kafka.topic | 需要读取的 topic 名称|是||
211-
|kafka.auto.offset.reset | 读取的topic 的offset初始位置[latest\|earliest]|否|latest|
211+
|kafka.auto.offset.reset | 读取的topic 的offset初始位置[latest|earliest]|否|latest|
212212
|parallelism | 并行度设置|否|1|
213213
|sourcedatatype | 数据类型|否|text|
214214
**kafka相关参数可以自定义，使用kafka.开头即可。**

‎docs/kuduSide.md‎

Lines changed: 13 additions & 13 deletions
Original file line numberDiff line numberDiff line change
@@ -64,21 +64,21 @@ kudu 1.9.0+cdh6.2.0
6464

6565
|参数名称|含义|是否必填|默认值|
6666
|----|---|---|-----|
67-
|type | 表明维表的类型[hbase\|mysql|\kudu]|是||
67+
|type | 表明维表的类型[hbase|mysql|kudu]|是||
6868
| kuduMasters | kudu master节点的地址;格式ip[ip，ip2]|是||
6969
| tableName | kudu 的表名称|是||
70-
| workerCount | 工作线程数 |否|
71-
| defaultOperationTimeoutMs | 写入操作超时时间 |否|
72-
| defaultSocketReadTimeoutMs | socket读取超时时间 |否|
73-
| primaryKey | 需要过滤的主键 ALL模式独有 |否|
74-
| lowerBoundPrimaryKey | 需要过滤的主键的最小值 ALL模式独有 |否|
75-
| upperBoundPrimaryKey | 需要过滤的主键的最大值(不包含) ALL模式独有 |否|
76-
| workerCount | 工作线程数 |否|
77-
| defaultOperationTimeoutMs | 写入操作超时时间 |否|
78-
| defaultSocketReadTimeoutMs | socket读取超时时间 |否|
79-
| batchSizeBytes |返回数据的大小 | 否|
80-
| limitNum |返回数据的条数 | 否|
81-
| isFaultTolerant |查询是否容错 查询失败是否扫描第二个副本 默认false 容错 | 否|
70+
| workerCount | 工作线程数 |否||
71+
| defaultOperationTimeoutMs | 写入操作超时时间 |否||
72+
| defaultSocketReadTimeoutMs | socket读取超时时间 |否||
73+
| primaryKey | 需要过滤的主键 ALL模式独有 |否||
74+
| lowerBoundPrimaryKey | 需要过滤的主键的最小值 ALL模式独有 |否||
75+
| upperBoundPrimaryKey | 需要过滤的主键的最大值(不包含) ALL模式独有 |否||
76+
| workerCount | 工作线程数 |否||
77+
| defaultOperationTimeoutMs | 写入操作超时时间 |否||
78+
| defaultSocketReadTimeoutMs | socket读取超时时间 |否||
79+
| batchSizeBytes |返回数据的大小 | 否||
80+
| limitNum |返回数据的条数 | 否||
81+
| isFaultTolerant |查询是否容错 查询失败是否扫描第二个副本 默认false 容错 | 否||
8282
| cache | 维表缓存策略(NONE/LRU/ALL)|否|NONE|
8383
| partitionedJoin | 是否在維表join之前先根据 設定的key 做一次keyby操作(可以減少维表的数据缓存量)|否|false|
8484

‎docs/kuduSink.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -34,7 +34,7 @@ kudu 1.9.0+cdh6.2.0
3434

3535
|参数名称|含义|是否必填|默认值|
3636
|----|---|---|-----|
37-
|type | 表明 输出表类型[mysql\|hbase\|elasticsearch\redis\|kudu\]|是||
37+
|type | 表名 输出表类型[mysq|hbase|elasticsearch|redis|kudu]|是||
3838
| kuduMasters | kudu master节点的地址;格式ip[ip，ip2]|是||
3939
| tableName | kudu 的表名称|是||
4040
| writeMode | 写入kudu的模式 insert|update|upsert |否 |upsert

‎docs/mysqlSink.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -30,7 +30,7 @@ CREATE TABLE tableName(
3030

3131
|参数名称|含义|是否必填|默认值|
3232
|----|----|----|----|
33-
|type |表明 输出表类型mysql|是||
33+
|type |表名 输出表类型[mysq|hbase|elasticsearch]|是||
3434
|url | 连接mysql数据库 jdbcUrl |是||
3535
|userName | mysql连接用户名 |是||
3636
| password | mysql连接密码|是||

‎docs/redisSide.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -33,7 +33,7 @@
3333

3434
|参数名称|含义|是否必填|默认值|
3535
|----|---|---|----|
36-
| type | 表明维表的类型[hbase\|mysql\|redis]|是||
36+
| type | 表明维表的类型[hbase|mysql|redis]|是||
3737
| url | redis 的地址;格式ip:port[,ip:port]|是||
3838
| password | redis 的密码 |是||
3939
| redisType | redis模式（1 单机，2 哨兵， 3 集群）| 是 |

‎docs/redisSink.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -33,7 +33,7 @@ redis5.0
3333

3434
|参数名称|含义|是否必填|默认值|
3535
|----|---|---|-----|
36-
| type | 表明 输出表类型[mysql\|hbase\|elasticsearch\|redis\]|是||
36+
| type | 表名 输出表类型[mysq|hbase|elasticsearch|redis]|是||
3737
| url | redis 的地址;格式ip:port[,ip:port]|是||
3838
| password | redis 的密码 |是||
3939
| redisType | redis模式（1 单机，2 哨兵， 3 集群）| 是 |

0 commit comments

Comments
 (0)