nebula spark connector Java脚本报错

我参考了https://www.jianshu.com/p/930e0343a28c,用spark connector 3.0.0写了Java的脚本,但报这错
User class threw exception: java.lang.RuntimeException: com.vesoft.nebula.connector.NebulaDataSource does not allow create table as select.
这是spark版本问题呢,还是其他的?

和spark版本无关,你可以贴一下你的示例代码看看。
用spark connector 3.0.0的话可以参考github 上的使用示例 nebula-spark-connector/example/src/main/scala/com/vesoft/nebula/examples/connector at v3.0.0 · vesoft-inc/nebula-spark-connector · GitHub

1 个赞

这是造成问题的代码:

DataFrameWriter<Row> vertexDataFrameWriter = new DataFrameWriter<Row>(df);
        package$.MODULE$.NebulaDataFrameWriter(vertexDataFrameWriter)
            .nebula(getNebulaConnectionConfig(), nebulaWriteVertexConfig).writeVertices();

参考下这个issue https://github.com/exasol/spark-connector/issues/57
你的spark版本是多少?

spark版本是3.0.0

那不兼容的,spark connector是支持spark2.4的

好的

浙ICP备20010487号