Der barocke Hofgarten entstand ab 1735 im Anschluss an die Fürstbischöfliche Sommerresidenz. Diese wurde von Gabriel de Gabrieli im Auftrag des damaligen Fürstbischof Franz Ludwig Schenk von Castell errichtet. In Form eines großen Rechteckes erstreckt sich der Hofgarten nach Südwesten zur Altmühl hin. Die drei Gartenpavillions stammen ebenfalls von Gabrieli. Der große Mittelpavillon wurde in den Jahren 1779-81 von Mauritio Pedetti zu einem offenen Gartensaal mit Brunnen umgestaltet.
Die Herzöge von Leuchtenberg verwandelten den barocken Hofgarten nach der Säkularisation in einen Bürgergarten, was eine neue gesellschaftliche Epoche markiert. Aus dem feudalen Flaniergarten wurde ein Park für die Bürger der Stadt im Stil der Englischen Gärten. Die Umgestaltung des Parks zum Arboretum, also einem botanischen Garten für Bäume und Sträucher, trieb zu Beginn des 20. Jh. Prof. Dr. Franz X. Mayr voran, der den Lehrstuhl für Naturwissenschaften an der Bischöflichen Philosophisch-theologischen Hochschule innehatte..
Derzeit beherbergt der Hofgarten mehr als 180 Bäume und Sträucher in rund 70 verschiedenen Arten.
