有关Flink导入数据时候的日志疑问

咨询下用flink导入数据的时候storage日志中的这是什么意思嗯?

可以了解一下 rocksdb 的 write stall

就是对这种写入速度使得 flush/compaction 追不上的时候,限制写入速度的机制。(stall codition 失速条件)

slow down writes when flush or compaction can’t keep up with the incoming write rate.

感谢, 我之前有稍微了解write stall, 这次仔细了解下, 顺便问下,你们有推荐的这方面配置吗? 就是单纯提单写速度, 减少初始化集群所用的时间, 我自己之前摸索配置的参数, 你们看合理吗? 难道我们之前几次的集群导入数据出问题和这个有关系, 导入太快???

最重要就是关compaction,min_write_buffer_number_to_merge可以稍微改大点,其他都差不多了

1 个赞

这个是绝对不能关的 :sob: 就只因为之前关了导入大量数据, 结果导致了1000W+句柄

行吧 level0_slowdown_writes_trigger和level0_stop_writes_trigger可以改大点

2 个赞

浙ICP备20010487号