nebula-flink-connector求助

yangmeng · 2021 年5 月 25 日 09:00

大家好, 希望求助,
1 我先按照官网的指导,先执行这两步

2. 然后我吧 nebula-flink-connector 的带依赖的jar包添加进工程
3. 执行FlinkConnectorExample.java例子, 报依赖找不到(这一步是在公司内网环境实施, 连不通外网)

Shylock-Hg · 2021 年5 月 25 日 09:12

nicole · 2021 年5 月 25 日 11:39

你看下工程的pom中slf4j依赖版本，是不是和log4j的包存在冲突。
可以把slf4j-log4j12-xxx.jar包通过<exclude></exclude>排除掉

yangmeng · 2021 年5 月 26 日 09:23

你好,
请问, Nebula支持完整的事务吗? ACID

Shylock-Hg · 2021 年5 月 26 日 09:31

没有语言级别的支持，内部有一些事务的应用

yangmeng · 2021 年5 月 26 日 09:32

你好, 请问下, 这个错误是连接不上meta? 还是连接上了meta后获取schema出错(我之前因为删除space没有自动删除对应的目录文件, 所以自己删除过space目录)

yangmeng · 2021 年5 月 26 日 09:33

那也就没有完整的会话, 回滚了?

Shylock-Hg · 2021 年5 月 26 日 09:36

是的，没有语言级别的回滚

yangmeng · 2021 年5 月 26 日 09:37

哦哦, 好的, 了解, 请问下支持自定义函数吗?? 存储过程等等??? 我在官网上暂时没有找到

Shylock-Hg · 2021 年5 月 26 日 09:44

不支持

nicole · 2021 年5 月 27 日 12:07

你看下连接的服务，要读取的space/tag是否存在

yangmeng · 2021 年5 月 28 日 00:49

这个已经解决, 谢谢哈, 请教你一下下面这个问题

请教下有关Flink的导入Nebula, 我看你们的demo是用的source是一个list然后sink写到Nebula中, 但是实际场景中肯定不是list的source, 我请教下我这里是kafaka的source的话, 这块应该是如何写的呢?

我也是可以自己吧kakfa中的数据处理成一条消息对应假如50行记录, 就是咨询下你, 在用Flink对接Nebula的话, 一条消息是一行记录和多行记录, 它的这写入速度有区别吗??? 最后这个到底是一条一条的写入Nebula还是批量写???

nicole · 2021 年5 月 28 日 01:41

首先关于Kafka的source demo这个要去参考flink-kafka-connector，给个传送：flink/flink-connectors/flink-connector-kafka at master · apache/flink · GitHub
关于Nebula 给出的demo使用list作为source只是为了构造出一个datastream，用于将该datastream写入Nebula，实际使用过程中可以使用任意flink 的source。
datastream写入Nebula是批量写的，有个batch的配置setBatch()可以控制批量大小。