Im Zuge der Planungen für das Wildparkstadion sind die letzten markanten Reste des Hirschgartens mit dem Brunnen, Hügel und der Biberburg vom Verschwinden bedroht, obwohl sie über der Sichtachse mit dem Fassanenschlösschen interagieren und mit diesem ein Gartenensemble darstellen.

Im November 2018 setzte die Arbeitsgemeinschaft Karlsruher Stadtbild dieses gartenhistorisch bedeutsame Ensemble von Hirschgarten und Biberburg auf die Rote Liste Karlsruher Kulturdenkmale.