cpp 版本 kv 接口使用咨询

zmh0531 · 2020 年10 月 30 日 09:34

你好

我们在使用官方文档里的cpp key-value 接口，我想问一下它的功能跟java client 的get put接口功能是一样的吗？

谢谢

Shylock-Hg · 2020 年10 月 30 日 10:16

是的

zmh0531 · 2020 年10 月 31 日 08:06

目前是这样的，我们发现java client 的 hash 分片函数的出来的part id 和 cpp client 的hash分片函数算出来的 part id 结果不一致。

如果说我们自己把cpp client 里面的 get 和 put hash分片函数改掉会影响到其他功能吗？

cpp 使用的hash 函数：

github.com

vesoft-inc/nebula/blob/40e39eeadc7f03bc05d89693b300b5b9c085b4cf/src/storage/client/StorageClient.cpp#L456


    auto s = ID_HASH(id, parts);
    CHECK_GE(s, 0U);
    return s;
}

folly::SemiFuture<StorageRpcResponse<cpp2::ExecResponse>>
StorageClient::put(GraphSpaceID space,
                   std::vector<nebula::cpp2::Pair> values,
                   folly::EventBase* evb) {
    auto status = clusterIdsToHosts(space, values, [](const nebula::cpp2::Pair& v) {
        return std::hash<std::string>{}(v.get_key());
    });

    if (!status.ok()) {
        return folly::makeFuture<StorageRpcResponse<cpp2::ExecResponse>>(
            std::runtime_error(status.status().toString()));
    }

    auto& clusters = status.value();
    std::unordered_map<HostAddr, cpp2::PutRequest> requests;
    for (auto& c : clusters) {

java 使用的hash函数：

github.com

vesoft-inc/nebula-java/blob/a127547afd94adacd0c8cf2a11f9dbc668bb04f3/client/src/main/java/com/vesoft/nebula/client/storage/StorageClientImpl.java#L927


    } else {
        return clients.get(address);
    }
}

private void disconnect(HostAndPort address) {
    clients.remove(address);
}

private long hash(String key) {
    return MurmurHash2.hash64(key);
}

private long hash(long key) {
    ByteBuffer buffer = ByteBuffer.allocate(Long.BYTES);
    buffer.putLong(key);
    return MurmurHash2.hash64(buffer.array(), Long.BYTES);
}

private int keyToPartId(String spaceName, long vertexId) {
    // TODO: need to handle this

不知道java 有没有和cpp 一致的hash函数

dingding · 2020 年11 月 2 日 05:33

请问，你那边是一定要同时用storage cpp client还有storage java client吗？

zmh0531 · 2020 年11 月 2 日 05:46

不需要java client ，但是我们的离线sst 文件是用 java spark 生成的，借鉴的java client 的分片函数，但是用cpp client 是查询不到的，因此离线生成sst需要和cpp client 的分片函数保持一致，所以想咨询官方有没有 cpp client 分片函数的java 写法

dingding · 2020 年11 月 2 日 06:23

感谢您的反馈，这个我们后续会提供一个统一的处理方案，让每个客户端的都提供一个统一的hash函数

zmh0531 · 2020 年11 月 2 日 06:32

好的，MurmurHash3 应该是可以做到 java cpp 统一的。

还有一个问题，如果我们把只把 storage cpp client 里面put get的分片函数改掉，会影响到其他功能吗？

dingding · 2020 年11 月 2 日 06:34

好的，MurmurHash3 应该是可以做到 java cpp 统一的。

是的，这块需要改下nebula的hash函数，然后java用到MurmurHash2 的时候seed 用 0xc70f6907UL

zmh0531 · 2020 年11 月 2 日 07:32

是的试了一下，可以拿到跟cpp一样的结果，感谢

public static int getPartIdCpp(String key, int partNum) {
        byte[] keyByte = key.getBytes(StandardCharsets.UTF_8);
        long hashKey = MurmurHash2.hash64(keyByte, keyByte.length, 0xc70f6907);
        int parId = (int) (Long.remainderUnsigned(hashKey, partNum) + 1);
        return parId;
    }