看了文档里面spark都是适用离线数据的导入,对于在线导入有啥好的工具支持吗?
都在线了,难道不应该是和业务系统的代码对接吗
对接业务代码只是把数据拿过来,我的意思是数据入库这块有没有一些注意的点,这种都是需要建立索引给后续查询用的,现在来看数据插入这块性能和文档上介绍的插入能力差距都不止一个量级。
我不太记得你是怎么测试的了,所以给不出什么具体建议。大体说
- 这个版本的uuid对于性能影响是很大的;
- 索引一定是影响写性能的,这个所有系统都一样;
最后,系统设计时候本来就是要权衡各方面,看读优先还是写优先,顺序还是随机。应用使用的时候也是一样的权衡。
然后,说到工具,这个是开源软件,没啥秘密,所以工具也不会有啥魔法。
当然,如果你对文档提供的性能报告有任何疑义,欢迎在你的环境复现一下