关于咸阳名称的由来，一种说法是：古代有：水之北为“阳”，山之南为“阳”，咸阳位于九嵕山之南、渭河之北，山水俱阳，故称咸阳。“咸”字意为“皆”、“都是”等。
另外，有人根据《史记》和秦都咸阳出上的陶文，以为商鞅在此置 “咸亨”、“阳里”，公元前350年，秦孝公将两名合一，即为咸阳。
咸阳市政区建置始于夏代，前21世纪，市境西部为有邰氏封地，东南部为有扈氏管辖地，北部为畎夷等原始氏族部落，属禹贡九州之雍州。殷商时期，发展到邰、豳、程、犬方等方国，市区在市境东南部。西周时为毕国，后改岐周，为丰、镐二京近郊。东周时封于秦，春秋时称渭阳，至战国秦孝公十二年（前350年），秦国都城经九次迁徙后，定都咸阳。
秦始皇二十六年（前221年），秦始皇统一中国，设郡县，在咸阳周边京畿要地置内史，统辖关中各县。秦末项羽入关，废郡县，恢复分封制，将秦内史和上郡一部分划为雍、翟、塞3国，是为"三秦"的由来。汉高祖初年，刘邦恢复被项羽焚毁的咸阳，取名新城。武帝年间，因咸阳临近渭水始更名渭城。
三国时，咸阳的版图分布在扶风、冯翊、新平诸郡内。到西晋，咸阳境内有始平郡、新平郡、安定郡、扶风郡及诸郡所辖数县。东晋南北朝时期，先后有过灵武县、石安县、咸阳郡等建置。至北周末，境内有分属3州辖下的咸阳、扶风、新平、云阳、冯翊、平凉数郡的十余个县。隋初废除郡制，置州、县两级地方政区，后又改州为郡。至隋末，境内有京兆郡的始平、武功、醴泉、上宜、三原、泾阳、云阳7县，北地郡的新平、三水2县，安定郡的鹑觚县东北部。唐代，在关中设京畿道，改豳州为州，至唐末，境内有京畿道京兆府的咸阳、三原、泾阳、醴泉、云阳、兴平、武功、好畤、奉天9县，邠州及所辖的新平、三水、永寿、宜禄4县。五代时至后周末，境内有京兆府的咸阳、兴平、泾阳、好畤、醴泉、武功6县，耀州的三原、云阳2县，乾州及所辖奉天县，邠州及所辖新平、三水、永寿、宜禄4县。
北宋在陕甘置永兴军路，置淳化县，撤销乾州，置醴州。北宋末，境内有京兆府的咸阳、兴平、泾阳3县，耀州的三原、云阳2县，邠州及所辖新平、宜禄、三水、淳化4县，醴州及所辖奉天、武功、醴泉、永寿、好畤5县。金末，境内有京兆府的咸阳、兴平、泾阳、云阳4县，耀州的三原县，乾州及所辖奉天、醴泉、武亭、好畤4县，邠州及所辖新平、淳化、永寿、宜禄、三水5县。元代在陕西置行中书省，境内有奉元路的咸阳、兴平、泾阳3县，耀州的三原县，乾州及所辖醴泉、武功、永寿3县，邠州及所辖新平、淳化2县。
明代改奉元路为西安府，洪武四年（1371年）将咸阳迁到渭水驿（即现秦都区所在地），后置三水县、长武县。明末，境内有西安府的咸阳、兴平、泾阳、三原、醴泉5县，乾州及所辖武功、永寿2县，邠州及所辖淳化、三水、长武3县。清代除将乾州、邠州改省直隶州外，仍延明旧制。
民国元年（1912年），省以下的地方政区改为道、县两级，咸阳归关中道管辖。民国二十四年（1935年），后陕西全省县以上设10个行政督察区，境内置有第二、第七、第九、第十等4个督察区的辖地。同一时期，中共中央成立苏维埃中央政府西北办事处，在今旬邑县、淳化县和铜川耀州区一带设关中特区，民国二十九年（1940年），改为关中分区。民国三十七年（1948年）6月至1949年9月，关中各县相继解放，撤销关中分区，在市境设置三原、咸阳、邠县三个分区。1950年5月，撤销三原、邠县分区，咸阳分区改为咸阳专区。1961年10月，咸阳专区辖咸阳市及兴平、鄠县、盩厔、高陵、三原、泾阳、淳化、醴泉、乾县、永寿、栒邑、邠县、长武13县。1964年9月10日，经国务院批准，改醴泉为礼泉、栒邑为旬邑、邠县为彬县。1969年，咸阳专区改名咸阳地区。
关中天水经济区咸阳成为核心城市之一
1984年，撤销咸阳地区，咸阳市改为省辖市，高陵、周至、户县划归西安市，原宝鸡地区的武功县、杨陵区划归咸阳市，原县级咸阳市改为秦都区，咸阳市辖秦都、杨陵2区及武功、兴平、泾阳、三原、礼泉、乾县、永寿、彬县、长武、旬邑、淳化11县。1986年12月，以市区乐育路为界，分秦都区东部置渭城区。1993年6月18日，经国务院批准，兴平撤县设市（县级市）。1997年7月，国务院决定建立杨凌农业高新技术产业示范区，示范区管委会为省政府直属派出机构。
1997年7月，国务院正式批准在杨陵区成立杨凌农业高新技术产业示范区，示范区管委会为省政府直属派出机构，享有省级经济管理权限以及地级行政管理权限，杨凌示范区管辖县级杨陵区，杨陵区从此脱离咸阳市实际管辖区划，但在正式行政区划中，杨陵区继续保持咸阳市辖区不变。
2014年1月，国务院正式批复设立西咸新区。咸阳所占面积657.16平方公里。
2017年1月，西安代管西咸新区，沣西新城部分区域12.6平方公里由咸阳管辖。
2018年5月4日，陕西省人民政府同意撤销彬县，设立县级彬州市。