除了废相、撤中书省，洪武帝还借着胡惟庸案对朝廷体制进行了更加大刀阔斧的改革。
左御史大夫陈宁、御史中丞涂节参与谋反。洪武帝宣布裁撤御史台，改置都察院。从“台”到“院”，御史台的最高官员由从一品左御史大夫降为了正二品左都御史。
朝廷六部尚书皆为正二品。这样一来，文官系统之中再无一品官员。正一品、从一品自此成为了追谥的品级。大明文官活着的时候无人可以荣膺一品。这是为了削弱文官的力量。
这日，洪武帝在乾清宫内召见了外甥李文忠。李文忠如今是大都督府左都督，名义上的明军最高统帅。
洪武帝见到李文忠，先说道：“你与朕同去坤宁宫看看皇后吧。”
李文忠是马皇后一手拉扯大的，马皇后将他视如己出。来到坤宁宫在病榻前见到马皇后，李文忠这个硬汉不禁潸然泪下：“皇后娘娘，一月未见，您怎么连床都下不来了。”
马皇后挤出一丝笑容：“忠儿，你一个统领千军万马的大都督，怎么哭哭啼啼作小女儿状？”
李文忠跪倒在马皇后面前：“文忠心里难受。”
马皇后道：“忠儿，你在朝中好好做官，好好带兵，好好辅助圣上和太子。也不枉本宫辛辛苦苦将你抚养大。”
李文忠跪地叩首：“是，忠儿记住了！忠儿一定尽心竭力，辅佐圣上和太子。”
马皇后又问：“景隆怎么样了？”
李文忠有一子，名叫李景隆。今年已然十一岁。
李文忠答道：“景隆已经开了蒙，这几日外甥正在教他《孙子兵法》。”
洪武帝却在一旁道：“上次朕去曹国公府，你那儿子在朕面前大谈兵法云云，呵，还颇有几分少年统帅的风采呢。不过兵法还是要付诸于实践，不然就是纸上谈兵。你看徐达家的徐辉祖，就是跟着他爹在战场上拼杀出了带兵打仗的真本事。如今已是一省都司了。”
洪武帝一语成谶，数十年后，李景隆成了纸上谈兵的统帅。在靖难之役中昏招频频，直接导致了南军的失败。自然这些都是后话。
探望完马皇后，洪武帝对李文忠说：“陪朕出去走走。”
李文忠毕恭毕敬的跟在洪武帝身后，在坤宁宫的青石台阶上散步。
洪武帝忽然说道：“有件事朕很发愁啊。”
李文忠问：“敢问圣上因何事发愁？”
洪武帝道：“朝廷之权统归中书省，中书省之权统归左丞相，导致了胡惟庸做大，最终谋反。同样的，明军之权统归大都督府，大都督府之权统归左都督。这难免有隐患。”
李文忠连忙跪倒：“圣上，文忠绝不会做胡惟庸。若圣上不信任臣，臣愿以死以表忠心！”
洪武帝连忙搀扶起李文忠：“你是朕的亲外甥，这些年屡立战功，朕怎么会不相信你呢？可铁打的大都督府，流水的左都督。你李文忠就算再能干，也有老的那一天。等你老了，左都督之职由旁人接任。旁人不一定能有你这样的忠心。若那人生出贰心，明军指挥大权在那人手中，要造反实在是太容易了。”
李文忠小心翼翼的说：“是啊圣上，应该防患于未然。”
洪武帝道：“朕已有打算。裁撤大都督府，改设左、右、中、前、后五军都督府。也就是说，将军权一分为五。另外，以前的大都督府既有统兵权，又有调兵权。兵部几乎被架空。今后，朕会将统兵权交予五军都督府，将调兵权交予兵部。这样一来五军都督府就能与兵部相互制衡。大明就不会出现拥兵自重的乱臣贼子。”
李文忠拱手：“圣上英明。”
洪武帝笑道：“这道旨意发下去，原大都督府的将领们肯定不会高兴。故而朕得先取得你的支持。”
李文忠道：“圣上放心，谁敢对圣上的旨意有异议，臣第一个不饶他们！”
洪武帝道：“还有另外一件事，朕要提前给你打招呼。废相、裁中书省、改御史台后，文臣活着的时候最高只能做到文官正二品。武将却有不少武官正一品、从一品大员。朕打算定下制度，以文治武。武官见文官低三级。”
李文忠闻言心中虽有不满，却不好提出异议。只能沉默不言。
洪武帝道：“瞧瞧，还是不高兴了。放心，你是朝廷的曹国公，国公超品！那些文臣今后见到你还是要给你行礼。朕以文治武，削弱武将的地位，是为了江山社稷的长治久安。避免武将地位过高，权力太大，出现唐末藩镇割据的状况。”
李文忠拱手道：“圣上，臣就一句话。只要是您的旨意，臣一定会不折不扣的去执行。袍泽弟兄中有对您的旨意想不通的，臣去一个一个劝服。劝服不了臣就罢了他们的官！”
洪武帝大喜过望：“还是自家人体谅朕啊！有你这个左都督支持朕，朕可以放心大胆的改革军制了！”
第二日洪武帝便颁布旨意，将大都督府一分为五，改称“五军都督府”。五军都督府只有统兵权，没有调兵权。调兵权在兵部。同时削弱武将地位，无爵同级官员，武见文低三级。大明初步形成了“以文治武”的局面。为防功勋老将不满，洪武帝又颁布旨意，公、侯超品。文臣见到公爵、侯爵