Skip to content

Commit d7df27f

Browse files
zoudaokoulifezoudaokoulife
committed
编辑readme.md
1 parent 3e611ca commit d7df27f

File tree

6 files changed

+173
-69
lines changed

6 files changed

+173
-69
lines changed

‎docs/elasticsearchSink.md‎

Lines changed: 52 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,52 @@
1+
## 1.格式：
2+
```
3+
CREATE TABLE tableName(
4+
colName colType,
5+
bb INT
6+
)WITH(
7+
type ='elasticsearch',
8+
address ='ip:port[,ip:port]',
9+
cluster='clusterName',
10+
estype ='esType',
11+
index ='index',
12+
id ='num[,num]',
13+
parallelism ='1'
14+
)
15+
```
16+
## 2.支持的版本
17+
ES5
18+
19+
## 3.表结构定义
20+
21+
|参数名称|含义|
22+
|----|---|
23+
|tableName|在 sql 中使用的名称;即注册到flink-table-env上的名称|
24+
|colName|列名称|
25+
|colType|列类型 [colType支持的类型](colType.md)|
26+
27+
## 4.参数：
28+
|参数名称|含义|是否必填|
29+
|----|---|---|
30+
|type|表明 输出表类型[mysql|hbase|elasticsearch]|是|
31+
|address | 连接ES Transport地址(tcp地址)|是|
32+
|cluster | ES 集群名称 |是|
33+
|index | 选择的ES上的index名称|是|
34+
|estype | 选择ES上的type名称|是|
35+
|id | 生成id的规则(当前是根据指定的字段pos获取字段信息,拼接生成id)|是|
36+
|parallelism | 并行度设置|否|
37+
38+
## 5.样例：
39+
```
40+
CREATE TABLE MyResult(
41+
aa INT,
42+
bb INT
43+
)WITH(
44+
type ='elasticsearch',
45+
address ='172.16.10.47:9500',
46+
cluster='es_47_menghan',
47+
estype ='type1',
48+
index ='xc_es_test',
49+
id ='0,1',
50+
parallelism ='1'
51+
)
52+
```

‎docs/hbaseSide.md‎

Lines changed: 24 additions & 15 deletions
Original file line numberDiff line numberDiff line change
@@ -18,30 +18,39 @@
1818
partitionedJoin='false'
1919
);
2020
```
21-
22-
## 2.参数
21+
## 2.支持版本
22+
hbase2.0
2323

24-
* tableName ==> 注册到flink的表名称(可选填;不填默认和hbase对应的表名称相同)
25-
* columnFamily:columnName ==> hbase中的列族名称和列名称
26-
* alias ===> hbase 中的列对应到flink中注册的列名称
27-
* PERIOD FOR SYSTEM_TIME ==> 关键字表明该定义的表为维表信息
28-
* PRIMARY KEY(keyInfo) ==> 维表主键定义;hbase 维表为rowkey的构造方式;
29-
可选择的构造包括 md5(alias + alias), '常量',也包括上述方式的自由组合
24+
## 3.表结构定义
25+
26+
|参数名称|含义|
27+
|----|---|
28+
| tableName | 注册到flink的表名称(可选填;不填默认和hbase对应的表名称相同)|
29+
| columnFamily:columnName | hbase中的列族名称和列名称 |
30+
| alias | hbase 中的列对应到flink中注册的列名称 |
31+
| PERIOD FOR SYSTEM_TIME | 关键字表明该定义的表为维表信息|
32+
| PRIMARY KEY(keyInfo) | 维表主键定义;hbase 维表rowkey的构造方式;可选择的构造包括 md5(alias + alias), '常量',也包括上述方式的自由组合 |
33+
34+
## 3.参数
3035

31-
* type ==> 表明维表的类型[hbase|mysql]
32-
* zookeeperQuorum ==> hbase 的zk地址;格式ip:port[;ip:port]
33-
* zookeeperParent ==> hbase 的zk parent路径
34-
* tableName ==> hbase 的表名称
35-
* cache ==> 维表缓存策略(NONE/LRU)
36+
|参数名称|含义|是否必填|
37+
|----|---|---|
38+
| type | 表明维表的类型[hbase|mysql]|是|
39+
| zookeeperQuorum | hbase 的zk地址;格式ip:port[;ip:port]|是|
40+
| zookeeperParent | hbase 的zk parent路径|是|
41+
| tableName | hbase 的表名称|是|
42+
| cache | 维表缓存策略(NONE/LRU)|否|
43+
| partitionedJoin | 是否在維表join之前先根据 設定的key 做一次keyby操作(可以減少维表的数据缓存量)|否|
3644

45+
--------------
46+
> 缓存策略
3747
> * NONE: 不做内存缓存
3848
> * LRU:
3949
> > cacheSize ==> 缓存的条目数量
4050
> > cacheTTLMs ==> 缓存的过期时间(ms)
4151

42-
* partitionedJoin ==> 是否在維表join之前先根据 設定的key 做一次keyby操作(可以減少维表的数据缓存量)
4352

44-
## 3.样例
53+
## 4.样例
4554
```
4655
CREATE TABLE sideTable(
4756
cf:name String as name,

‎docs/hbaseSink.md‎

Lines changed: 21 additions & 11 deletions
Original file line numberDiff line numberDiff line change
@@ -15,20 +15,30 @@ CREATE TABLE MyResult(
1515
1616
```
1717

18-
## 2.参数：
19-
* tableName ==> 在 sql 中使用的名称;即注册到flink-table-env上的名称
20-
* colFamily:colName ==> hbase中的列族名称和列名称
21-
* colType ==> 列类型 [colType支持的类型](colType.md)
18+
## 2.支持版本
19+
hbase2.0
20+
21+
## 3.表结构定义
22+
23+
|参数名称|含义|
24+
|----|---|
25+
| tableName | 在 sql 中使用的名称;即注册到flink-table-env上的名称
26+
| colFamily:colName | hbase中的列族名称和列名称
27+
| colType | 列类型 [colType支持的类型](colType.md)
28+
29+
## 4.参数：
2230

23-
* type ==> 表明 输出表类型[mysql|hbase|elasticsearch]
24-
* zookeeperQuorum ==> hbase zk地址,多个直接用逗号隔开
25-
* zookeeperParent ==> zkParent 路径
26-
* tableName ==> 关联的hbase表名称
27-
* rowKey ==> hbase的rowkey关联的列信息
28-
* parallelism ==> 并行度设置
31+
|参数名称|含义|是否必填|
32+
|----|---|---|
33+
|type | 表明 输出表类型[mysql|hbase|elasticsearch]|是|
34+
|zookeeperQuorum | hbase zk地址,多个直接用逗号隔开|是|
35+
|zookeeperParent | zkParent 路径|是|
36+
|tableName | 关联的hbase表名称|是|
37+
|rowKey | hbase的rowkey关联的列信息|是|
38+
|parallelism | 并行度设置|否|
2939
3040

31-
## 3.样例：
41+
## 5.样例：
3242
```
3343
CREATE TABLE MyResult(
3444
cf:channel STRING,

‎docs/kafka09source.md‎

Lines changed: 27 additions & 16 deletions
Original file line numberDiff line numberDiff line change
@@ -14,23 +14,34 @@ CREATE TABLE tableName(
1414
parallelism ='parllNum'
1515
);
1616
```
17-
## 2.参数：
18-
* tableName ==> 在 sql 中使用的名称;即注册到flink-table-env上的名称
19-
* colName ==> 列名称
20-
* colType ==> 列类型 [colType支持的类型](colType.md)
21-
* function(colNameX) as aliasName ==> 支持在定义列信息的时候根据已有列类型生成新的列(函数可以使用系统函数和已经注册的UDF)
22-
* WATERMARK FOR colName AS withOffset( colName , delayTime ) ==> 标识输入流生的watermake生成规则,根据指定的colName(当前支持列的类型为Long|Timestamp)
23-
和delayTime生成waterMark 同时会在注册表的使用附带上rowtime字段(如果未指定则默认添加proctime字段);
24-
注意：添加该标识的使用必须设置系统参数 time.characteristic:EventTime; delayTime: 数据最大延迟时间(ms)
17+
18+
## 2.支持的版本
19+
kafka09
20+
21+
## 3.表结构定义
22+
23+
|参数名称|含义|
24+
|----|---|
25+
| tableName | 在 sql 中使用的名称;即注册到flink-table-env上的名称|
26+
| colName | 列名称|
27+
| colType | 列类型 [colType支持的类型](colType.md)|
28+
| function(colNameX) as aliasName | 支持在定义列信息的时候根据已有列类型生成新的列(函数可以使用系统函数和已经注册的UDF)|
29+
| WATERMARK FOR colName AS withOffset( colName , delayTime ) | 标识输入流生的watermake生成规则,根据指定的colName(当前支持列的类型为Long or Timestamp)
30+
和delayTime生成waterMark 同时会在注册表的使用附带上rowtime字段(如果未指定则默认添加proctime字段);
31+
注意：添加该标识的使用必须设置系统参数 time.characteristic:EventTime; delayTime: 数据最大延迟时间(ms)|
32+
33+
## 4.参数：
34+
35+
|参数名称|含义|是否必填|默认值|
36+
|----|---|---|---|
37+
|type | kafka09 | 是||
38+
|bootstrapServers | kafka bootstrap-server 地址信息(多个用逗号隔开)|是||
39+
|zookeeperQuorum | kafka zk地址信息(多个之间用逗号分隔)|是||
40+
|topic | 需要读取的 topic 名称|是||
41+
|offsetReset | 读取的topic 的offset初始位置[latest\|earliest]|否|latest|
42+
|parallelism | 并行度设置|否|1|
2543

26-
* type ==> kafka09
27-
* bootstrapServers ==> kafka bootstrap-server 地址信息(多个用逗号隔开)
28-
* zookeeperQuorum ==> kafka zk地址信息(多个之间用逗号分隔)
29-
* topic ==> 需要读取的 topic 名称
30-
* offsetReset ==> 读取的topic 的offset初始位置[latest|earliest]
31-
* parallelism ==> 并行度设置
32-
33-
## 3.样例：
44+
## 5.样例：
3445
```
3546
CREATE TABLE MyTable(
3647
name string,

‎docs/mysqlSide.md‎

Lines changed: 27 additions & 16 deletions
Original file line numberDiff line numberDiff line change
@@ -19,31 +19,42 @@
1919
partitionedJoin='false'
2020
);
2121
```
22-
23-
## 2.参数
2422

25-
* tableName ==> 注册到flink的表名称(可选填;不填默认和hbase对应的表名称相同)
26-
* colName ==> 列名称
27-
* colType ==> 列类型 [colType支持的类型](colType.md)
28-
* PERIOD FOR SYSTEM_TIME ==> 关键字表明该定义的表为维表信息
29-
* PRIMARY KEY(keyInfo) ==> 维表主键定义;多个列之间用逗号隔开
30-
* url ==> 连接mysql数据库 jdbcUrl
31-
* userName ==> mysql连接用户名
32-
* password ==> mysql连接密码
33-
* tableName ==> mysql表名称
34-
* type ==> 表明维表的类型[hbase|mysql]
23+
# 2.支持版本
24+
mysql-5.6.35
25+
26+
## 3.表结构定义
3527

36-
* tableName ==> mysql 的表名称
37-
* cache ==> 维表缓存策略(NONE/LRU)
28+
|参数名称|含义|
29+
|----|---|
30+
| tableName | 注册到flink的表名称(可选填;不填默认和hbase对应的表名称相同)|
31+
| colName | 列名称|
32+
| colType | 列类型 [colType支持的类型](colType.md)|
33+
| PERIOD FOR SYSTEM_TIME | 关键字表明该定义的表为维表信息|
34+
| PRIMARY KEY(keyInfo) | 维表主键定义;多个列之间用逗号隔开|
35+
36+
## 4.参数
37+
38+
|参数名称|含义|是否必填|默认值|
39+
|----|---|---|----|
40+
| type | 表明维表的类型[hbase\|mysql] |是||
41+
| url | 连接mysql数据库 jdbcUrl |是||
42+
| userName | mysql连接用户名 |是||
43+
| password | mysql连接密码|是||
44+
| tableName | mysql表名称|是||
45+
| tableName | mysql 的表名称|是||
46+
| cache | 维表缓存策略(NONE/LRU)|否|NONE|
47+
| partitionedJoin | 是否在維表join之前先根据 設定的key 做一次keyby操作(可以減少维表的数据缓存量)|否|false|
3848

49+
----------
50+
> 缓存策略
3951
> * NONE: 不做内存缓存
4052
> * LRU:
4153
> > cacheSize ==> 缓存的条目数量
4254
> > cacheTTLMs ==> 缓存的过期时间(ms)
4355

44-
* partitionedJoin ==> 是否在維表join之前先根据 設定的key 做一次keyby操作(可以減少维表的数据缓存量)
4556

46-
## 3.样例
57+
## 5.样例
4758
```
4859
create table sideTable(
4960
channel String,

‎docs/mysqlSink.md‎

Lines changed: 22 additions & 11 deletions
Original file line numberDiff line numberDiff line change
@@ -15,18 +15,29 @@ CREATE TABLE tableName(
1515
1616
```
1717

18-
## 2.参数：
19-
* tableName ==> 在 sql 中使用的名称;即注册到flink-table-env上的名称
20-
* colName ==> 列名称
21-
* colType ==> 列类型 [colType支持的类型](colType.md)
22-
* type ==> 表明 输出表类型[mysql|hbase|elasticsearch]
23-
* url ==> 连接mysql数据库 jdbcUrl
24-
* userName ==> mysql连接用户名
25-
* password ==> mysql连接密码
26-
* tableName ==> mysql表名称
27-
* parallelism ==> 并行度设置
18+
## 2.支持版本
19+
mysql-5.6.35
20+
21+
## 3.表结构定义
22+
23+
|参数名称|含义|
24+
|----|---|
25+
| tableName| 在 sql 中使用的名称;即注册到flink-table-env上的名称|
26+
| colName | 列名称|
27+
| colType | 列类型 [colType支持的类型](colType.md)|
28+
29+
## 4.参数：
30+
31+
|参数名称|含义|是否必填|
32+
|----|---|---|
33+
|type |表明 输出表类型[mysql|hbase|elasticsearch]|是|
34+
|url | 连接mysql数据库 jdbcUrl |是|
35+
|userName | mysql连接用户名 |是|
36+
| password | mysql连接密码|是|
37+
| tableName | mysql表名称|是|
38+
| parallelism | 并行度设置|否|
2839

29-
## 3.样例：
40+
## 5.样例：
3041
```
3142
CREATE TABLE MyResult(
3243
channel VARCHAR,

0 commit comments

Comments
 (0)