exchange读kafka报错找不到id ,Field "id" does not exist. Available fields: key, value, topic,

nebula-exchange : 2.1.0

下图中这段源码是不是有问题啊?
spark读kafka的数据schema是key,value, topic … 而我的vid,name等字段是在value里面
难道这不是一个bug吗?
为什么源码还没有修复?

参考下这个帖子?现在没有对value的处理。应用exchange导入kafka数据报错 - #14,来自 duduxiao

参考了,但是也没说明具体怎么做吧。
那是不是要想使用kafka,还必须自己修改源码吗?
文档里也不说明一下,那是不是每个使用者都必须要到这里来搜索一番才能发现原来本来就是这样呢?

exchange没有针对value做json解析的,具体怎么做上面发的链接楼层中有说明要怎么修改

我的意思是,至少应该在文档中说明一下有这个问题存在啊
另外一个问题,structured-streaming必须依赖spark-sql-kafka-0-10_2.12,也是没有说明,导致初学者使用非常麻烦,需要搞很久才发现这些本不该出现的问题

Exchange内部的依赖是打包在jar包内部的,文档中关于kafka的导入有可配置的字段说明,你是希望文档中增加 关于用户如何自定义json解析的 说明么?
ps:你提到的依赖问题 如果是常见问题我们会记录在FAQ中的

麻烦增加一个吧
如果不增加,那么是不是每个使用者都会遇到同样的问题呢?

cc @lzy

1 个赞

浙ICP备20010487号