当神山町は神代の時代、阿波国の国霊である「大宜都比売神・おおげつひめのかみ」が粟を植えて鎮座されたと伝わる、阿波国の発祥の里で地名を大粟と称されました。当院の縁起では、この大粟の郷に平安時代前期の延暦19年庚辰(800年)、四国でご修行中の弘法大師が来錫されました。その頃のこの地には、山々に囲まれた大きな湖があったため、人々は山の急斜面にわずかな土地を耕して暮らしていました。その様子を哀れに思われた大師が、湖の水を抜き干拓することを決意し、村人達と共に鍬を振るい成就されました。
その時に住まいとして吉良山に庵を建て、般若菩薩を刻み、般若心経を書写して安置したのが当院の始まりです。その後、時代の変遷とともに朽ち果てていた庵を天永2年(1111)に当国出身の高僧であった阿波上人によって再建され、その際に聖恵法親王より吉祥院の院号を賜りました。
重源上人を始め、聖や行者が修行する道場となり繁栄し、貞応1年(1223)には土御門上皇より写経が納められ、勅願所と定められました。そして時は下り、戦乱期の天正5年丁丑(1577)阿波上人の開山以来、法灯を伝えてきましたが、土佐の長宗我部氏の阿波侵略の兵火により炎上し廃絶してしまいます。
平成14年(2002)に現院家が移転再建という形で、大師開拓の姿を写した鍬持大師像と、阿波上人の故事から阿弥陀如来を祀り般若・阿弥陀・大師の三尊を本尊として安置し、中興開山を勧請いたしまして、院家格の寺として約400年ぶりに復興を果たしたのですが、未だ再建の途上にあります。