Na, hier geht aber vieles durcheinander:
Kleingärten spielen Stadtzentrum keine Rolle - da gibt es überhaupt keine! Größere Anlagen gibt es erst wieder im Hecht (entlang der Hansastr.), am Emerich-Ambros-Ufer und in den Hellerbergen. Viele Kleingartenanlagen wären aber sowieso nicht für Wohnbebauung geeignet, und für Eigenheime schon gar nicht.
Eigenheimbau in zentrumsnahen Lagen ist aus meiner Sicht kontraproduktiv, was aber nicht bedeutet, dass so etwas nicht passiert wäre, siehe Bramschareal in der Friedrichstadt. Ansonsten sind im Stadtgebiet in den letzten 20 Jahren durchaus viele Eigenheime entstanden; siehe Gönnsdorf oder Weixdorf.