有关Flink导入数据时候的日志疑问

yangmeng · 2021 年7 月 12 日 09:21

咨询下用flink导入数据的时候storage日志中的这是什么意思嗯?

wey · 2021 年7 月 12 日 10:38

可以了解一下 rocksdb 的 write stall

就是对这种写入速度使得 flush/compaction 追不上的时候，限制写入速度的机制。（stall codition 失速条件）

slow down writes when flush or compaction can’t keep up with the incoming write rate.

vesoft-inc/nebula-storage/blob/fd156c60ab150bb38d9213607a6e25767f5f92fd/src/kvstore/EventListener.h#L109


      
                        << ", the properties of the table: " << info.table_properties.ToString();
          }
          
          // A callback function for RocksDB which will be called before setting the
          // background error status to a non-OK value.
          void OnBackgroundError(rocksdb::BackgroundErrorReason reason,
                                 rocksdb::Status*) override {
              LOG(INFO) << "BackgroundError: because of " << backgroundErrorReasonString(reason);
          }
          
          // A callback function for RocksDB which will be called whenever a change
          // of superversion triggers a change of the stall conditions.
          void OnStallConditionsChanged(const rocksdb::WriteStallInfo& info) override {
              LOG(INFO) << "Stall conditions changed column family: " << info.cf_name
                        << ", current condition: " << writeStallConditionString(info.condition.cur)
                        << ", previous condition: " << writeStallConditionString(info.condition.prev);
          }
          
          // A callback function for RocksDB which will be called whenever a file read
          // operation finishes.
          void OnFileReadFinish(const rocksdb::FileOperationInfo& info) override {

yangmeng · 2021 年7 月 12 日 11:26

感谢, 我之前有稍微了解write stall, 这次仔细了解下, 顺便问下,你们有推荐的这方面配置吗? 就是单纯提单写速度, 减少初始化集群所用的时间, 我自己之前摸索配置的参数, 你们看合理吗? 难道我们之前几次的集群导入数据出问题和这个有关系, 导入太快???

critical27 · 2021 年7 月 13 日 07:19

最重要就是关compaction，min_write_buffer_number_to_merge可以稍微改大点，其他都差不多了

yangmeng · 2021 年7 月 13 日 07:23

这个是绝对不能关的就只因为之前关了导入大量数据, 结果导致了1000W+句柄

critical27 · 2021 年7 月 13 日 07:27

行吧 level0_slowdown_writes_trigger和level0_stop_writes_trigger可以改大点