明宣德五年，首建礼部后便把五府六部集中于广场两旁。千步廊东侧是掌管全国礼仪、祭祀、宴享、贡举等事务的礼部和掌管全国官吏选授、考课、勋封之政的吏部，负责全国户口、土地、赋税、财政收支等事务的户部以及宗人府、兵部、工部、鸿胪寺、钦天监等，衙署建筑均坐东朝西。西侧有全国最高统军机构左、中、右、前、后五军都督府和掌管祭祀礼乐的太常寺及受理内外章疏、收臣民密封申诉之件的机构通政使司以及掌管侍卫、缉捕、刑狱之事的锦衣卫等。衙署建筑均坐西朝东。明朝人云：“列六卿于左省，建五军于右隅”。
清代，广场东侧大部分沿用明朝旧制，仍为各部所在，当时叫户部街。为了封建统治的需要，在户部街外侧增设了掌制诰、史册、文翰之事的翰林院，负责对外通商和交涉事物的总理各国事务衙门及太医院等。广场西侧，清代采用八旗兵制，不再建立五军都督府，并把原来的街道改称前府胡同、右府胡同、左府胡同、中府胡同、后府胡同等。还在明锦衣卫旧址建立了刑部，称这条街为刑部街，后在这条街上又增设了都察院、大理寺等审案判刑的机关，又称司法部街。
另外，在长安左门、长安右门有分别通往五府六部的总门两座，叫做“公生门”，文武官员由此进出宫廷俱奏。乾隆十五年(1754年)，在公生门两边加筑围墙，东西折向北转接皇城墙，又在新加围墙东西端各辟一门，门三阙，分别称东三座门、西三座门。辛亥革命后，公生门，东、西三座门及内里的五府六部陆续拆除。
明清两代，广场两边官署林立，府部对列，文东武西，戒备森严。东边因有户部、吏部这些有钱有势的衙门，又因西面有审判、司法的衙门，故那时又有“东边掌生、西边掌死”的说法。今天，当我们漫步在宽阔的广场时，很难想象，脚下竟是昔日操掌着人民生死大权的衙门禁地。
