Java Storage-Client 支持部分返回和byte格式存取咨询

zmh0531 · 2020 年9 月 14 日 07:06

你好
1. 我看到Storage Cient 的GetRequest支持部分存取 RETURN_PARTLY设置的，但是在Response结果判断的时候只有全部查询成功的结果才会被返回，部分查询成功的结果无法返回，后续官方是否可以支持部分结果返回。

github.com

vesoft-inc/nebula-java/blob/bf9c7a16bd4e2216ba8974d926a8add0b74852eb/client/src/main/java/com/vesoft/nebula/client/storage/StorageClientImpl.java#L338


      
          if (Objects.isNull(client)) {
              disconnect(leader);
              return Optional.absent();
          }
          
          
GeneralResponse response;
          int retry = connectionRetry;
          while (retry-- != 0) {
              try {
                  response = client.get(request);
                  if (!isSuccessfully(response)) {
                      handleResultCodes(response.result.failed_codes, space, client, leader);
                  } else {
                      return Optional.of(response.values);
                  }
              } catch (TException e) {
                  for (Integer part : request.parts.keySet()) {
                      invalidLeader(space, part);
                  }
                  disconnect(leader);
                  LOGGER.error(String.format("Get Failed: %s", e.getMessage()));

2. Storage Cient 现在是String格式存取，不支持byte格式存取，我们尝试byte转成String格式Put下去，但Get起来不一致，应该是Thrift protocol 默认readString方法是UTF-8多字节编码导致的。想请问后续官方是否会支持byte格式存取。

github.com

vesoft-inc/nebula-java/blob/bf9c7a16bd4e2216ba8974d926a8add0b74852eb/client/src/main/generated/com/vesoft/nebula/storage/GeneralResponse.java#L311


      
              {
                TMap _map228 = iprot.readMapBegin();
                this.values = new HashMap<String,String>(Math.max(0, 2*_map228.size));
                for (int _i229 = 0; 
                     (_map228.size < 0) ? iprot.peekMap() : (_i229 < _map228.size); 
                     ++_i229)
                {
                  String _key230;
                  String _val231;
                  _key230 = iprot.readString();
                  _val231 = iprot.readString();
                  this.values.put(_key230, _val231);
                }
                iprot.readMapEnd();
              }
            } else { 
              TProtocolUtil.skip(iprot, field.type);
            }
            break;
          default:
            TProtocolUtil.skip(iprot, field.type);

github.com

vesoft-inc/nebula-java/blob/bf9c7a16bd4e2216ba8974d926a8add0b74852eb/client/src/main/fbthrift/com/facebook/thrift/protocol/TBinaryProtocol.java#L371


      
          
          
public float readFloat() throws TException {
            return Float.intBitsToFloat(readI32());
          }
          
          
public String readString() throws TException {
            int size = readI32();
          
          
  if (trans_.getBytesRemainingInBuffer() >= size) {
              try {
                String s = new String(trans_.getBuffer(), trans_.getBufferPosition(), size, "UTF-8");
                trans_.consumeBuffer(size);
                return s;
              } catch (UnsupportedEncodingException e) {
                throw new TException("JVM DOES NOT SUPPORT UTF-8");
              }
            }
          
          
  return readStringBody(size);
          }

谢谢

critical27 · 2020 年9 月 14 日 11:05

这个只会在kv接口里面用，返回部分结果的时候，错误码和结果都已经返回给client了，需要的话可以修改下java的client就可以。
Bytes涉及的会更多，因为还涉及到jni的转换这一层，所以是以String格式存取的。目前还没有支持和测试过Bytes(需要把全部客户端一起修改)，有没有考虑转成Base64编码？