清領台灣後，漢人不斷北上，諸羅縣幅域過於遼闊，管理不便。雍正元年，將諸羅縣增設彰化縣、淡水廳，大甲屬淡水廳管轄。乾隆、嘉慶間，墾民大量入墾大甲，至嘉慶21年(1816)鹿港巡檢署移駐大甲，大甲稱街。同治元年(1862)大甲生員何清霖申建「文昌祠」，雖獲准，但因經費無著，接著又逢戴潮春之亂，而作罷。

(一)、清代

光緒11年(1885)，台灣建省，台灣巡撫劉銘傳力奏增加台省科舉名額，各地紛紛興建書院。新竹知縣方祖蔭與大甲恩貢生陳肇芳，再度申建「文昌祠」，獲淡水廳同知嚴金清批准。

光緒13年3月，陳肇芳與大甲街總理林鳳儀承命興建。擇址明善堂義倉處，因面積不夠寬闊，鄉紳謝耀炎捐菜園地，使址擴增一倍。富室王俊捐建屋餘材。翌年六月落成，為二進兩廊兩護室的四合院建築，護室廂房十問，共花費五千四百銀兩。

新建文昌祠內，左設總倉五間，右設義學。總倉維持舊義倉規模，為預防饑荒的米糧儲備之所，杜清任義倉董事。西廂設義塾五間，教育兒童。由義倉提供學資。培養出六塊厝陳衷、大安黃榜等秀才。

(二)、日治時期

    光緒21年(1895)清廷割臺灣給日本，日本率軍接台，台灣抗日，官吏先逃，百姓生靈塗炭，引起大甲鄉紳不作頑抗。7月4日，鄉紳具酒食迎近衛師團北白川宮能久親王駐大甲文昌祠，事後文昌祠列入御遺跡保護，祠右前方建紀念碑(民國72年拆除)。

明治31年(1898)2月「苗栗講習所大甲分教場」設立於文昌祠內，同年10月創立大甲公學校。文昌祠西廂改建成校長金子政吉與教諭瀧野彌市的宿舍。

明治32年2月，日人志賀哲太郎應聘為代用教員，亦住進西廂。

明治42年，大甲公學校舍完成，師生遷出文昌祠。文昌祠改為日本人小學校分教場，遭鎮民反對，同時請求設漢學教育，庄尾陳嘉瑜應聘教授漢學。

大正10年(1921)大甲公學校教室不夠使用，文昌祠東西廂房充做一年級及幼稚班教室，漢學教學中斷。

大正13年王進財任漢塾教師，恢復漢學教授，並教習武藝，使學生文武兼備。接著吳秋灶收費一圓，招收學生教授漢文，兼收男女老幼。

昭和10年(1935)，黃清吉與地方上前清秀才，創設「崇聖會」，每年舉辦春秋二季祭孔典禮。這期間「文祠」的漢塾教育極為興盛。所以同年四月發生「墩仔腳大地震」，三川殿受損，大甲街長柴田一平馬上派工修復。

昭和16年(1941)，因日本掀起大東亞戰爭，已危害到台灣島內，祠內附祀誓死愛國的日本六位老師骨灰，文昌祠成為教導學生忠勇愛國之所，直至戰爭結束。

(三)、民國至今

民國34年二次大戰結束，國內百廢待舉。民國38年政府遷台，部份保警入住文昌祠，榮民於祠內劃地隔間生活，善男信女因而不敢踏入文祠。然公所管理單位仍有所管理，故正殿、桌案、天井一線仍保持通暢。民國73年鎮公所遷移祠內住戶，次年11月內政部指定為第三級古蹟。撥款整修殘破建物，並按舊制重繪施工。民國82年6月整修完竣正殿與三川殿。民國91年底完成護龍、圍牆、聖蹟亭及增設山門和照壁。民國97年1月，大甲五十三庄傳統國術聯合借用文昌祠東廂為傳習所暨文物館。