夏帝禹元年，张掖属《禹贡》雍州之域，西戎氏之故墟。禹封少子于西戎，世代为首领。

周穆王十三年，祭公率师随穆王西征，西戎归顺。

汉代（前206－220年）以前，月氏国称雄于敦煌祁连间，张掖为其属地。

秦汉之际，北方的匈奴族强大起来，击败并赶走了月氏人，河西遂为匈奴右贤王的领地。黑河东、西分别由休屠王、浑邪王分领。

1985年5月，撤销张掖县，设立县级张掖市以原张掖县行政区域为张掖市的行政区域。2002年3月1日，国务院批复撤销张掖地区和县级张掖市，设立地级张掖市。市人民政府驻新设立的甘州区南环路。张掖市设立甘州区，原县级张掖市改甘州区。地级张掖市辖原张掖地区的临泽县、高台县、山丹县、民乐县、肃南裕固族自治县和新设立的甘州区。