Kaiserlicher Garten, Verbotene Stadt