Die Burg entstand vermutlich im späten 12. Jahrhundert und war im 13. Jahrhundert im Besitz der Kropf (Struma), die ihren Stammsitz in Emetzheim bei Weißenburg hatten und von denen sich seit 1277 eine Linie nach Kipfenberg nannte. Der Kropf war ein Ministerialengeschlecht, das auf Burg Kipfenberg ritterbürtige Dienstmannen sitzen hatte, die 1266 erstmals erwähnte Herren von Kipfenberg.
1301 verkaufte Konrad Kropf von Kipfenberg Burg und Burgflecken Kipfenberg an das Hochstift Eichstätt. Die Burg war bis zur Säkularisation (1803) Sitz eines Pflegamts. Aus Geldnot mussten die Eichstätter Bischöfe die Burg im 14. Jahrhundert mehrmals verpfänden, doch wurde sie unter den Bischöfen Raban Truchseß von Wilburgstetten (1365 - 1383) und Friedrich IV. Graf von Oettingen (1383 - 1415) auch verstärkt und erweitert. Von weiteren Umbauten zeugen die Wappen der Bischöfe Martin von Schaumberg (1560 - 1590) am Torhaus der Vorburg und Johann Christoph von Westerstetten (1612 - 1636) über dem Tor der Hauptburg.
Dank ihrer starken Befestigung überstand die Burg unbeschadet den Bauern- (1525) und den Dreißigjährigen Krieg. Im 19. Jahrhundert wurde die Burg teilweise abgebrochen; 1869 stürzten die Wohnbauten zusammen. Seit 1914 war die Anlage in Besitz der Familie Taeschner, die die Burg nach Plänen von Bodo Ebhardt 1914-1925 wieder herstellen ließen. Seit ein paar Jahren befindet sich die Burg im Besitz der international tätigen Unternehmerfamilie Armerding.
