最近將整個架構(gòu)升級到Spark 2.0.0之后,，發(fā)現(xiàn)一個問題,，就是每次進行Hive --service metastore啟動的時候，總是會報一個小BUG,。

無法訪問/home/ndscbigdata/soft/spark-2.0.0/lib/spark-assembly-*.jar: 沒有那個文件或目錄。

而這一行究竟是怎么回事,，網(wǎng)上沒有任何有關(guān)的資料。

沒辦法,，只好一步一步分析，終于找到問題的癥結(jié),。

其主要的原因是：在hive.sh的文件中,，發(fā)現(xiàn)了這樣的命令,，原來初始當spark存在的時候，進行spark中相關(guān)的JAR包的加載,。而自從spark升級到2.0.0之后，原有的lib的整個大JAR包已經(jīng)被分散的小JAR包的替代,，所以肯定沒有辦法找到這個spark-assembly的JAR包,。這就是問題所在,。

# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
  sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"

將這個spark-assembly-*.jar`替換成jars/*.jar，就不會出現(xiàn)這樣的問題,。

這也印證了各個軟件升級過程中如何涉及到自動聯(lián)運或者向下兼容的問題。