Az első templom az Árpád-házi királyok idejéből – II. Géza – származik, amely egy kisméretű tornyos kápolna volt. 1450-ben a kapornaki bencés apátság – Pecöli  birtokán – az ősi templomot újjáépítteti a Boldogságos Szűz tiszteletére.

A pecöli apátság a XV. században a kőszegi- ill. németújvári grófok kegyurasága révén jutott Pecölben részbirtokhoz. Mátyás király idejében a birtok a mogyorókeréki ( ma Eberau, Burgerland ) Ellerbach családé volt. Tőlük az Erdődyek kezére került. 1557-ben Erdődy Péter Vas megyei birtokait Zrínyi Miklós zálogosította el. Ez időben a protestantizmus erősen tért hódított ezen a vidéken is. 1573-ban megszűnt a kapornaki bencés konvent működése, paphiány miatt a pecöli plébánia sem volt betöltve. Később is egy évszázadon át váltakozva voltak katolikus és lutheránus lelkészek Pecölön. Később az apátság a Vasvár-Szombathelyi társaskáptalanhoz tartozott. 1617-ben Erdődy Tamás visszakapta Vas megyei birtokait és megindult az újrakatolizálás . 1725-ben Erdődy Sándor visszaállította és rendezte az egyházi birtokot ( szétválasztotta  a plébániait az apátságitól) és az utóbbiból szabadrendelkezésű apátságot alapított. Pecöl ma már csak címzetes apátság.

A törökvilág 150-200 éves időtartama ( kihatása ) alatt a pecöli plébánia működése teljesen szünetelt, illetve Kenézben ( ma fília) volt. 1781-ig a temető is a templom körül terült el.

1880-81-ben ismét nagyobbították a templomot, legújabban pedig 1937-ben nagyobbították, illetve építették át hatalmas-impozáns háromhajós templommá. Ft. Varga Gábor esperes-plébános idejében.

A megnagyobbított templomot 1940-ben festette ki Steffek Albin szombathelyi templomfestő.

A liturgikus tér és a Szent Rita kápolna kialakítása  1978-ban történt.

A község templomának titulusa Kisboldogasszony, jelenleg is címzetes bencés apátsága van.