Turm des Buddhistischen Wohlgeruchs, Sommerpalast