“文运昌盛”，历来为益阳人所重视，座落在益阳古城学门口的文昌阁正是取“文运昌盛”之意。对于文昌阁的始建年代有两种说法，一说是唐朝贞观年间，一说是宋朝。众多文史和传说表明，文昌阁应始建于宋朝，初称学宫，后改称圣庙。元朝末年，圣庙毁于战火。
　　明朝洪武十三年，圣庙得到修复。隆庆五年，圣庙更新其制，中为大成殿（遗址在五一东路北），分古贤祠、明伧堂、启圣祠、儒学门。门内东侧为文昌祠。
　　清朝顺治年间起，多次重修大成殿。光绪三十三年诏升为大祀，改祠为阁，文昌阁之名由此而得。文昌阁，成为当时益阳古城的最高建筑。
　　民国十三年（1924年），著名革命先烈熊亨瀚，受“五四”民主思想影响，在文昌阁创办进步刊物《资江》，宣扬新文化，新思想。民国十五年（1926年），临时中共益阳地区执行委员会书记袁铸仁与高文华等人组建中共益阳县地方执行委员会，袁铸仁任书记，执委机关设文昌阁。
　　民国十八年（1929年），文昌阁被民国当局改设教育机关，后附设民众图书馆。抗日时期，将中后两殿改为忠烈祠，神龛横匾书“浩气长存”。正中设有抗日阵亡将士牌位，两壁挂有将士遗像，计将级军官3名、校级军官38名、士兵多名、益阳战亡团员8名，飞行员1名（系盟军美国人罗泊尔）。民国三十三年，民众图书馆重新移入，接着开办益师附小。1963年，益阳县拆除忠烈祠，建立县花鼓戏剧院。至此，文昌阁仅存外壳作剧院前厅，共余部分皆荡然无存。
　　文昌阁于1993年被列为益阳县重点文物保护单位，1997年定为益阳市重点文物保护单位。