Spark日志提示下面这类信息
Hive Schema version 1.2.0 does not match metastore's schema version 2.1.0 Metastore is not upgraded or corrupt
这是因为hive环境中配置的metastore schema版本和spark使用的metastore版本不一致。
解决:
- 将hive环境中存储hive metastore的mysql中的version信息更新为 spark中使用的metastore版本:
假设hive在mysql中存储 metastore的数据库是hive
, 则需要修改hive.VERSION 表中的version字段update hive.VERSION set SCHEMA_VERSION="2.1.0" where VER_ID=1
- 在hive环境的hive-site.xml中增加如下配置:
重启hive即可。<property> <name>hive.metastore.schema.verification</name> <value>false</value> </property>