Kaldorf gehörte zu den so genannten „Königlichen Dörfern“, die seit 1305 unmittelbar dem Kaiser bzw. König unterstanden; ab 1534 war diese Herrschaft, die so genannte Reichspflege, an die evangelische Reichsstadt Weißenburg verpfändet, so dass ein Teil der Bewohner von Kaldorf evangelisch wurde. Erst 1679 gelang es dem Hochstift Eichstätt nach 200 Jahre langem Bemühen endgültig die Herrschaft über Kaldorf zu erwerben. Mit der Neuordnung der Herrschaftsverhältnisse ging auch eine Stärkung des katholischen Bekenntnisses einher, die 1659 mit der Erhebung Kaldorfs zur Pfarrei (vorher Filiale von Titting) begann und mit dem Kirchenneubau 1709/10 einen Höhepunkt erreichte.
Beim Neubau 1709/10 wurde für die Kirche eine neue Einrichtung erworben, die ihr noch heute ein einheitlich barockes Gepräge gibt. Die drei Altäre, deren Altarblätter wohl Matthias Zink aus Eichstätt malte, und die Kanzel stammen aus dieser Zeit. Die Figurengruppe mit Christus und Maria Magdalena links der Kanzel und das große Kruzifix mit schmerzhafter Mutter an der rechten Langhauswand sind gute Schöpfungen aus dem Kreis des Eichstätter Bildhauers Christian Handschuher um 1700. In der Zeit der Gotik (um 1480) entstand die schöne Madonna mit Jesuskind, die sich früher in der Wegkapelle an der Nordseite des Ortes befand und jetzt an der linken Langhauswand hinten steht.
Die Selbdrittgruppe in einer Nische der rechten Langhausseite ist ebenfalls eine gotische Skulptur (Frühzeit des 16. Jahrhunderts); die hl. Anna hält auf ihrem Schoß das Marienkind und den Jesusknaben, der die Hand auf das von Maria gehaltene Buch legt. Auch dieses Schnitzwerk stand früher in der erwähnten Wegkapelle.
