旧は泉蔵院という寺に付属した堂である。『風土記稿』によれば、同寺は新義真言宗、瀧馬室村(現鴻巣市)常勝寺の末寺で、西亀山無量院と号し、本尊は大日、と見える。また阿弥陀堂については、石戸頼兼なる人物が女亀御前の早世を追福して建立したもので、旧は石戸宿村にあったが後年当地に移した、という縁起を紹介し、さらに続けて、石戸宿の阿弥陀堂にも同様の話を伝えており不審である、本尊の弥陀は長一尺五寸の立像、鳥仏師または運慶作と伝える、と記している。もとより後世付会の伝説として信ずるにたらないが、泉蔵院が明治6年に廃寺となったにも拘らず、阿弥陀堂のみ今日まで維持されて来ている事実からすれば、当地区の歴史に深い関り合いを持つ堂と思われる。おそらく泉蔵院は、阿弥陀堂の別当寺であったのであろう。