海西歷史悠久。古為西羌地，兩漢時今海西東部為先零卑禾等羌人部落活動范圍，西部屬“若羌國”。漢平帝元始四年(公元4年)，王莽置西海郡，今海西東部屬之。王莽末郡廢，復(fù)為羌地。
東晉后期，今海西西部為吐谷渾屬地，東部為鮮卑乙弗國地(后并于吐谷渾)。吐谷渾首領(lǐng)拾寅在位時(約公元452年)，曾在白蘭(今都蘭縣諾木洪一帶)修建城廓，至吐谷渾伏連籌即位期間(公元491—529年)曾建都于今海西境內(nèi)，后移置伏俟城(今共和縣石乃亥鄉(xiāng)鐵卜洽古城)。
隋大業(yè)五年(公元609年)，隋軍擊敗吐谷渾，在其地設(shè)置四郡，今海西東部屬西?？?，西部屬鄯善郡。隋末，吐谷渾復(fù)據(jù)故地。
唐貞觀十年(公元636年)，吐谷渾成為唐屬國。龍朔三年(公元663年)，吐蕃王國滅吐谷渾據(jù)有其地，今海西州曾隸吐蕃臘城節(jié)度使。
宋代，今海西西部為撒里畏兀爾(即黃頭回紇)地，東部為吐蕃地方政權(quán)——角廝啰勢力范圍。
元代，今海西州西北地區(qū)為甘肅行省沙州路轄區(qū)，其余大部為宣政院所屬吐蕃等處宣慰司轄區(qū)。元順帝時，設(shè)曲先答林元帥府，封卜煙帖木兒為寧王，鎮(zhèn)守今柴達木西部地區(qū)。
明初，今海西為安定、阿瑞、曲先、罕東四衛(wèi)地，由西寧衛(wèi)兼管。武宗正德七年(公元1512年)左右，東蒙古諸部開始進入青海，攻破塞外四衛(wèi)，至此，成為東蒙古諸部統(tǒng)治地區(qū)。崇禎十年(公元1637年)，居住在今新疆衛(wèi)拉特蒙古(即西蒙古)和碩特部，在其首領(lǐng)顧實汗的率領(lǐng)下進入青海，統(tǒng)轄今海西地區(qū)。
清雍正三年(公元1725年)，清庭編定青海蒙古左右兩翼盟29旗，今海西州境劃定9個蒙古旗，統(tǒng)歸“欽差辦理青海蒙古番子事務(wù)大臣”管轄。乾隆二十二年(公元1757年)，班禪商上喇嘛移住巴彥托輝、岳霍洛依(即今都蘭縣香日德一帶)，為班禪香家旗。咸豐八年(公元1858年)，藏族汪什代海部落遷入今天峻縣境內(nèi)駐牧，當?shù)氐拿晒疟鼻捌毂边w祁連。至光緒年間(公元1875—1908年)藏族溝里、日安兩個百戶部落遷入今都蘭縣境內(nèi)落居。
民國元年(公元1912年)7月，青海辦事大臣改為青海辦事長官，今海西地區(qū)屬之。次年增設(shè)蒙番宣慰使，管理蒙藏事務(wù)。民國4年(公元1915年)，改由甘邊寧海鎮(zhèn)守使兼管。民國6年(公元1917年)，歸都蘭理事轄，上隸甘邊寧海鎮(zhèn)守使。民國19年(公元1930年)，改都蘭理事為都蘭縣，轄今海西州全境，上隸青海省。民國27年(公元1938年)，在今都蘭縣察汗烏蘇鎮(zhèn)設(shè)立青海省第八行政督察專員公署，民國30年(公元1941年)，改稱青海省第一行政督察專員公署，都蘭縣屬其管轄。此間，從民國24年至民國30年(公元1935—1941年)，生活在新疆的部分哈薩克族先后遷入今海西州境內(nèi)落居。
1949年9月，青海解放。同年11月成立都蘭縣人民政府(駐地察汗烏蘇)，轄今海西州全境，直隸青海省。1952年9月26日撤銷都蘭縣，設(shè)立縣級“都蘭縣蒙藏哈薩克族自治區(qū)”，1954年1月25日改建為專區(qū)級“海西蒙藏哈薩克族自治區(qū)”(駐察汗烏蘇)，1955年12月12日更名為“海西蒙藏哈薩克族自治州”。
為開發(fā)建設(shè)柴達木盆地，1955年7月30日在格爾木設(shè)立了“柴達木工作委員會”，作為青海省人委派出機構(gòu)，處理開發(fā)建設(shè)柴達木盆地的日常工作。1956年2月更名為“柴達木盆地工作委員會”，同年3月駐地遷至大柴旦。1957年4月撤銷“柴達木盆地工作委員會”，改設(shè)“柴達木盆地行政委員會”，1958年1月更名為“柴達木行政委員會”。
1959年1月，海西州人委由察汗烏蘇遷駐大柴旦與“柴達木行政委員會”合署辦公。1963年8月26日撤銷“柴達木行政委員會”，全政區(qū)稱“海西蒙古族藏族哈薩克族自治州”。1966年4月州府遷駐德令哈。1984年5月全州的哈薩克族群眾自愿要求，并經(jīng)國務(wù)院同意，全部遷返新疆，1985年5月21日定名為“海西蒙古族藏族自治州”。