导入 SST 文件后,执行ingest命令后 oom

  • nebula 版本:
  • 部署方式:分布式
  • 安装方式: RPM
  • 是否上生产环境:Y
  • 硬件信息
    • 磁盘SSD 4Tx2
    • 64C 256G
  • 问题的具体描述

SUBMIT JOB INGEST;
19点07使用此命令,后面一直oom导致storage down

发生了预期之外的内存使用

其中,block_cache设置30G,page_cache close

  cache_index_and_filter_blocks: 1
  cache_index_and_filter_blocks_with_high_priority: 1
  pin_l0_filter_and_index_blocks_in_cache: 1
  no_block_cache: 0
  block_cache: 0x7f2dca01e1f0
  block_cache_name: LRUCache
  block_cache_options:
  block_cache_compressed: (nil)
  persistent_cache: (nil)
  prepopulate_block_cache: 0

研发上不来论坛,我同步下他说的信息哈:

storage配置 --move_files=true

试试看可以不?以及,毕竟不在现场,你方便的话,可以把相关的 meta 和 storage 的配置都贴一贴么?

以及他有个猜测是你可能 ingest 的量比较大,可以分批小批量小批量地导入试试。