文昌阁始建于
明末，早期仅有楼、东亭、从北至西南的走廊和院中两棵
古柏。清同治二年节（1863）回民反清时，楼阁一时尽毁。现阁院东南角的一棵古柏为当年被烧去半面皮而幸存下来的。清代光绪年间重建楼阁和东南厦房，其内墙壁嵌有光绪二十八年（1902）邑人王权撰《大像山文昌阁创立文社碑记》。民国十五年（1926）又增修南厢房，为卷棚顶，砖木结构，分上下两层，底层为地藏室，上层为僧房，后墙左右皆有望窗。门两边有木刻联，为民国时县内名人宋延桢题，其子宋梓篆联：“楼构数椽窜膝易，窗开三面会心多”。内耳房门额有籀字“共星轩”、“通帝座”，中央佛阁中所奉木雕“西方三圣”（中为阿弥陀佛、左为
观世音菩萨、右为大势至菩萨立像）。文昌阁整个建筑以四合式封闭院落为布局，东亭、北廊、西宇皆有望窗，可任意瞰视渭川风光。出后门额首籀“积上台”三字，并通甬道。