因境內(nèi)有積石山而得名,。又因境內(nèi)居保安,、東鄉(xiāng)、撒拉等少數(shù)民族,，1980年成立積石山保安族東鄉(xiāng)族撒拉族自治縣,。

夏為雍州地,。商,、周為羌、戎地,。戰(zhàn)國(guó)末期入秦國(guó)版圖,。秦昭王二十八年(公元前278年)秦置隴西郡,，縣境屬秦枹罕縣。公元前221年,，秦始皇統(tǒng)一六國(guó),，縣地仍屬隴西郡枹罕縣。西漢初,，縣地屬隴西郡枹罕縣,，昭帝始元六年(公元前81年)取天水、隴西,、張掖三郡各二縣,，置金城郡，縣境屬金城郡枹罕縣,。神爵二年(公元前60年),，置河關(guān)縣，屬金城郡,。東漢初,，縣地分屬?zèng)鲋荽淌凡拷鸪强ず雨P(guān)、枹罕兩縣,。建武十二年(36年)省金城郡入隴西郡,，枹罕、河關(guān)縣皆屬之,。中平元年(184年)十一月,，隴西宋建聚眾據(jù)枹罕割據(jù)自立，自號(hào)"河首平漢王",，設(shè)百官,，改元自立30年。建安十九年(214年),，曹操遣夏侯淵率兵攻克枹罕,，斬殺宋建，平定河關(guān),，渡黃河入小湟中,，河湟遂安。三國(guó)時(shí),，屬魏,。西晉初，屬秦州隴西郡,。西晉惠帝永寧中(301~302年),，涼州刺史張軌分西平郡界，置晉興郡,。在縣地大河家設(shè)臨津縣,，屬晉興郡,。十六國(guó)時(shí)自治縣境相繼為前涼、前趙,、后趙,、前秦、后秦,、西秦,、后涼等割據(jù)政權(quán)轄地。西秦永康元年(412年),，屬建昌郡,，北魏又設(shè)置。乞伏暮末永弘四年(431年),，西秦為夏赫連定所滅,。縣境遂入于吐谷渾,。北魏太平真君六年(445年),，縣地入北魏管轄。西魏大統(tǒng)十二年(546年),，河州刺史楊寬于鳳林川置鳳林縣,，縣境東南、東北部地面屬鳳林縣管轄,。北周時(shí),，縣地分屬鳳林縣和枹罕縣。隋初,，縣境屬枹罕郡,，開(kāi)皇三年(583年)改枹罕郡為河州，縣地屬之,，大業(yè)三年(607年),，改河州歸枹罕郡，臨津縣屬之,。后設(shè)積石鎮(zhèn),。唐武德二年(619年)置河州，轄枹罕,，縣境屬之,。貞觀五年(631年)置米州。貞觀十年(636年)米州廢,，設(shè)米州縣,，屬河州。貞觀十一年(637年)置安鄉(xiāng)縣,。永徽六年(655年),，米川縣移于黃河以北(青海省境)，改屬廓州,。儀鳳元年(676年)安鄉(xiāng)縣西移至安鄉(xiāng)城(安集鄉(xiāng)境內(nèi)),，縣地分屬安鄉(xiāng)、枹罕二縣,。隨后設(shè)積石軍歸屬隴右節(jié)度使,。天寶元年(742年)，改安鄉(xiāng)縣為鳳林縣,，改河州為安鄉(xiāng)郡,。代宗寶應(yīng)元年(762年)縣地陷于吐蕃。宣宗大中二年(848年),，張議潮趁吐蕃內(nèi)亂,，率眾起義，收復(fù)河西及蘭,、河,、岷等十一州，縣地歸唐,，不久,，復(fù)陷于吐蕃。宋大中祥符年間(1008~1016年),，吐蕃唃廝啰政權(quán)強(qiáng)大,，控制河湟地。神宗熙寧元年(1068年),，木征以河州歸附,，復(fù)置安鄉(xiāng)郡，屬熙州路,。五年(1072年)宋遣王韶?fù)魯∧菊?，置熙河路。六?1073年)五月,，王韶命景思立知河州,。縣境屬之,。金天會(huì)九年(1131年),，金兵入隴右，取熙,、河,、蘭諸州，河州入于金,。天會(huì)元年(1123年),，金設(shè)積石州,。金初，沿宋制,，縣地屬臨洮府河州,。皇統(tǒng)二年(1142年)更臨洮府為臨洮路,，仍屬之,。南宋寶慶二年(1226年)蒙古滅西夏后，攻克河州,、積石州,，縣地入蒙古汗國(guó)。元初屬陜西行中書省鞏昌路,。元始祖至元六年(1269年)改河州為河州路,，隸宣政院，轄定羌,、寧河,、安鄉(xiāng)三縣。明洪武三年(1370年),，明將鄧愈攻克河州,。明洪武四年(1371年)，置河州衛(wèi),，受轄于陜西都司西安行都衛(wèi),。基層實(shí)行里甲制度,，河州原制45里,，明嘉靖時(shí)人丁減少縮為31里，縣境內(nèi)有銀川,、木葉,、吹麻、下川,、樣卑5里,。六年(1373年)置河州府，領(lǐng)寧河,、安鄉(xiāng)二縣,，縣地屬安鄉(xiāng)縣。成化九年(1473年)改河州軍民指揮使司為河州衛(wèi),，復(fù)置河州,。縣境銀川里、木葉里,、吹麻里,、樣卑里、下川里皆屬河州,。清初,，縣境屬臨洮府河州管轄?？滴跛氖哪?1705年),，廢除明代里甲制,，改設(shè)會(huì)社制,，縣地為西鄉(xiāng)二十九會(huì)中的十八會(huì)。乾隆二十七年(1762年)移河州同知于循化營(yíng),，設(shè)循化廳,，縣境內(nèi)癿藏、紅崖,、端言,、回回、迭古,、仰化六部族,，歸其管轄。民國(guó)元年(1912年),，分甘肅省行政區(qū)劃為七道,，縣地屬蘭山道河州。民國(guó)二年(1913年),，北洋政府廢府,、州制，將河州改為導(dǎo)河縣,，縣境屬之,。民國(guó)十八年(1929年)改導(dǎo)河縣為臨夏縣，縣境癿藏,、小關(guān),、中咀嶺、居集鄉(xiāng)部分沿山地區(qū)屬循化縣,，銀川,、鋪川、安集等地屬永靖縣,，其余屬臨夏縣,。1949年8月，在中國(guó)共產(chǎn)黨的領(lǐng)導(dǎo)下，積石山解放,，人民獲得新生,。1949年8月至1958年，縣境除安集,、銀川,、鋪川鄉(xiāng)外，其余屬臨夏縣,。1958年底,，臨夏市、臨夏縣,、永靖縣合并為臨夏市,。1961年，恢復(fù)臨夏縣建制,，縣境屬臨夏縣,。1980年6月14日，國(guó)務(wù)院批準(zhǔn)成立積石山保安族東鄉(xiāng)族撒拉族自治縣,。

積石雄關(guān)位于積石山縣大河家鎮(zhèn)康吊村關(guān)門社,， 距縣城30公里。積石雄關(guān)為古河州二十四關(guān)之首,，被列為河州八大景之一,。石海位于積石民俗村西南側(cè)，呈河灘地帶,，灘內(nèi)磨圓度較好的大小石頭遍地,，大者如船，小者如碑,，似一群群匍匐待牧的羊群,，擁背相臥，像一群群海邊相殘的海豹,，摩肩疊體,，相互嬉鬧。在石海中,，有一塊如船大的巨石橫臥其間,，上刻三個(gè)大字"魯班石"。此石呈長(zhǎng)條形,，長(zhǎng)8.30米,，寬5.40米，高3.1米,，上有一圓坑,，相傳魯班大師坐跡,。