三國時期衡陽分屬于衡陽郡和湘東郡。西晉初沿襲之，后析荊州、廣州置湘州，現(xiàn)衡陽市均屬湘州。隋開皇七年（589年），隋滅陳并改郡為州，并湘東、衡陽兩郡為衡州，并臨蒸、新城、重安為衡陽縣，州、縣城均設湘江東岸，為歷史上首次出現(xiàn)以衡陽命名的縣。清朝，為衡州府，轄境為衡陽等縣地。1950年，衡陽市改為省轄市。1959年，省轄市衡陽市改歸衡陽專區(qū)。1970年，衡陽專區(qū)改稱衡陽地區(qū)。1980年02月20日，衡陽市由地轄市升為省轄市（1983年改稱地級市）。

截至2023年12月31日，衡陽市轄蒸湘區(qū)、珠暉區(qū)、雁峰區(qū)、石鼓區(qū)、南岳區(qū)5個市轄區(qū)，衡陽縣、衡南縣、衡山縣、衡東縣、祁東縣5個縣，代管耒陽市、常寧市2個縣級市。