Die Burg wurde durch die Edelfreien von Erlingshofen erbaut, die sich von 1156 bis 1265 Herren von Arnsberg nannten. Als sie vor 1278 eine neue Burg bei Heideck errichteten, führten sie fortan diesen Namen. Arnsberg war Eichstätter Lehen. Vor 1305 veräußerte Gottfried IV. von Heideck die Herrschaft an Herzog Otto III. von Niederbayern. Die Herzöge verpfändeten bereits 1328 die Burg; Inhaber waren u. a. der Minnesänger Hadmar III. von Laaber (um 1350) und die Fraunhofer (ab 1364), die sich als Raubritter betätigten und denen Herzog Ludwig der Bärtige nach Verhängung von Acht und Kirchenbann 1417 die Burg mit Gewalt wegnahm. Bis 1433 hielt Herzog Ludwig die Burg besetzt und ließ sie bei seinem Abzug weitgehend zerstören.
Der Wiederaufbau erfolgte durch die Herren von Laaber, denen 1450 erneut die Burg verpfändet wurde. Ab 1465 saßen nochmals die Herren von Heideck auf Arnsberg. 1473 verkaufte Herzog Albrecht IV. der Weise Schloss und Herrschaft Arnsberg an das Hochstift Eichstätt, das die Burg 1663 als Jagd- und Sommerschloss erneuerte. 1763 wurden die Steine des Bergfrieds und 1764 „alles Brauchbare“ zum Neubau des Schlosses Hirschberg verwendet. Durch Mauer- und Felsabstürze 1831, 1926 und 1931 und durch weiteren Abbruch wurde die Burg zur Ruine.
1931 gingen die Gebäude der Vorburg und die dazugehörigen Ländereien in den Besitz der Familie Weiß über, deren Tochter Kreszentia das ehemalige Sommerschloss der Eichstätter Bischöfe als Hotel ausbaute und heute leitet.
Das Gelände der Burgruine mit dem Bergfried ist im Besitz des Freistaates Bayern und frei zugänglich. Vom Gelände aus bietet sich ein fantastischer Ausblick aufs Altmühltal und die Arnsberger Leite.
