該園的主體建筑，位于園內中心。這是一座三層方壇，四周用漢白玉石圍砌，壇面鋪有黃、青、白、紅、黑五色土壤，黃土居中，東青、西白、南紅、北黑，以道教的陰陽五行學說象征“天下之地，莫非王土”及國家江山政權之意。據古代神話傳說，黃帝統治天下，居于中央。其由土神輔佐，持繩子，管四方，屬黃色。在天下的四方又各有一位保衛者，即東方太睥，木神輔佐，持圓規，管春天，屬青色。南方炎帝，火神輔佐，持秤桿，管夏天，屬赤色。西方少昊，金神輔佐，拿曲尺，管秋天，屬白色。北方顓頊，水神輔佐，拿秤錘，管冬天，屬黑色。五色土正中有一土龕，原豎有一根高3．6尺，1．6尺見方的石柱，名社主石或江山石，以表示皇帝江山永固之意。壇外筑有矮墻，四面設欞星門。明清時期，每逢春、秋仲月上戊日，皇帝要來此祭祀社、稷神。同時每逢皇帝出征、班師等，也要在此舉行儀式。拜殿(中山堂)在社稷壇北側，殿寬五間，深三間，黃瓦朱墻，廡殿頂式。殿內和璽彩繪，富麗堂皇。祭日如下雨，便在殿內設供桌，皇帝向南行禮，所以稱為拜殿。1925年孫中山先生在京逝世，曾停靈于此，出于紀念意義，于1928年改稱中山堂。