Wanneer de kerk van Patersberg is ontstaan, en wie deze heeft gebouwd, is volledig onbekend.
Ze zou in de vroege middeleeuwen een pelgrimskerk geweest zijn. Zeker is dat de kerk oorspronkelijk aan de heilige Pancratius was gewijd. De kerk is vermoedelijk in drie bouwperiodes ontstaan. De toren is vroeggotisch, verraden nog romaanse ruimtebeleving en kan in zijn huidige vorm rond 1200 zijn ontstaan. Een raadsel blijven drie romaanse zuilen bij de bovenste torenramen; ze zijn zeker ouder. De overige kerk is romaanse stijl. Het schip wordt op de 12e eeuw geschat, terwijl het koor misschien al rond 1100 of zelfs 900 is ontstaan. Misschien heeft de kerk ook ooit voor verdedigingsdoeleinden gediend. De toren vertoont nog verschillende schietgaten. Ook het schip had vroeger meer kleine ramen (of tenminste nissen) dan vandaag de dag. De benedenverdieping van de toren is door een kruisgewelf overwelfd.