但是朱元璋在胡惟庸的案子中，是文武有别的。在审问的胡党口供中，凡是牵及中书省及各部院衙门的，都被朱元璋一概杀戮，而凡是涉及武将谋反的，他不管信与不信，却一概宽宥了。就像陆仲亨、费聚这样的“首犯”“要犯”都赦免了。当朝大臣为了表示同叛逆的不共戴天、同仇敌忾，纷纷上书处死陆仲亨等人。朱元璋说：“当年陆仲亨十七岁，父母兄弟都死了，怕被乱兵掠去，揣着一升麦子藏在乱草中间。我率队伍经过，喊他“跟我来吧”,便跟了我。而后南征北战，拜将封侯。这些都是最早跟了我的手足心腹。我不忍治他们的罪，就不要再追究了。”很明显，这个时候，朱元璋不想牵连功臣宿将。果然，攀咬武人的口供越来越少了，武将们紧张的心绪渐渐平定下来。朱元璋此时所要解决的首要问题是中书省和中书丞相的问题。
洪武十二年(1379)九月，胡惟庸、汪广洋等下狱，十二月初二杀死汪广洋。洪武十三年(1380)正月初二，御史中丞涂节告胡惟庸谋反，正月初六处死胡惟庸等。第二天，正月初七日，他就向群臣宣布：革去中书省，改大都督府为前、后、左、右、中五军都督府。从此废止了代皇帝行使权力的丞相制度，提高了吏、户、礼、兵、刑、工六部的地位，它由对中书省和丞相负责，改为直接对皇帝负责。作为最高军事机关的大都督府，一分为五，使权力分散，避免了军权在武人手中过于集中，便利了皇帝的控制。加上都察院(由御史台改)的监督，就构成中央府、部、院三个互相制约持衡又分别对皇帝负责的权力支柱。其他，通政司负责接受传递内外章奏。大理寺负责复审刑狱，它与刑部、都察院共同担当起司法审判的责任，称为“三法司”。在中央存在中书省的时候，地方上早已取消了行中书省。洪武九