目前有个千万级别的tag ,如果全量查询很慢,内存占用极高,limit的情况下,数据是随机查询的,如何保证次tag数据查询的全量性。
例如mysql 查询的可以指定id>1 and id < 100 这种模式 千万级别的数据也是10s、20s之内 ,graphed 如何实现呢
,正如群里所说的,这种情况要么改写下语句,要么可能得等下一个版本进行优化了,这个场景目前的性能不是特别的好。
你查全量数据出来以后,下一步准备做什么
数据 写入需要对比的,有新增和删除和修改的动作
你数据会有实时写入吗?感觉如果有实时写入,这个limit offset 和数据对比就不太好做
好奇问下,其他的存储,比如关系型,比如 hive 等,你们在实际写入后,需要做数据对比吗?
此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。