百福殿偏殿，君臣继续谈话，议题仍旧与府兵有关。其实早在开皇十年，杨坚就对大隋军队和府兵进行了一次大改革。杨坚之所以在这时候改革军事制度，是有周到考虑的，因为在此之前要加强军事力量，完成统一全国的大业，不便匆忙改革军制，以免影响统一大业的顺利进行，南陈现在亡国了、国家统一了，杨坚认为很有必要裁减军队、休养生息。
杨坚于是下诏说“魏末丧乱，宇县瓜分，役车岁动，未遑休息。兵士军人，权置坊府，南征北伐，居处无定。家无完堵，地无包桑，恒为流寓之人，竟无乡里之号。朕甚闵之。凡是军人，可悉属州县，垦田籍账，一与民同。军府统领，宜依旧式。罢山东、河南及北方缘边之地新置军府。”
这道诏书回顾西魏、北周实行府兵制以来的历史背景，并在新的历史条件下对府兵进行改革，令府兵士兵“垦田籍账，一与民同”，使府兵与农民同属州县，并从法律上将兵民分治改为军民结合，最终完成了兵农合一，使府兵制与均田制结合起来，成为均田制度下的军事制度。而在府兵的统帅方面，杨坚又沿用西魏、北周的十二大将军遗制，以十二卫为中枢掌管军事的管理机构。
十二卫分掌天下府兵、十二卫大将军为府兵最高将领，皆直接隶属于皇帝。十二卫大将军虽然是从西魏、北周的十二大将军之制演变而来，但是在杨坚手上又有重大改革：一是将禁兵、常备军纳入十二卫系统，通称“禁卫兵”，从而与西魏和北周时期府兵、禁军各自成为一体有所不同。二是把西魏和北周时掌握军队实权的上柱国、柱国、上大将军、大将军、大都督、都督等等职务变成有名无实、高高上在的勋官，实际上是剥夺了他们的军权，从而使天下军队直接由皇帝掌握；虽然这是表面上的军权归中枢、实际并没有将军权全部收回，可却形成了一套完善而高效的军事管理政策，从而使大隋军队体系得到了规范。
这项重大的改革，在当时虽然表面大于实际，但是杨坚对府兵的改革、新体制的建立，却使府兵制和均田制紧密地结合起来，落实了兵农合一，而大隋王朝的武装力量也得到加强；在制度上，也实现了军事统率权集中于皇帝一人的目的，为日后的步步为营打下了基础。而杨坚所打下的政策基础，又被杨广继承和进一步创新。
杨广平定杨谅之乱、坐稳皇帝宝座以后，许多与杨谅眉来眼去的关陇贵族子弟都遭到了清算，而他们的家族生恐杨广对他们算总账，尽皆人心惶惶、惊惶失措，甚至有些人暗中联手，企图用暴力手段与杨广抗衡；然而占据主动的杨广在这个时候，却忽然戛然而止。把清算转成军事上的改革。
他不再刺激那些在威压下即将暴力的关陇贵族，而是在大业元年对官制进行轰轰烈烈的大改革，军事上的十二卫上将军、大将军如同三省主官一样，尽皆被他给虚化了，实权分别落到各卫的左右将军手上。当然了，杨广也不是全部虚化干净，比如说兼任左候卫大将军的兵部尚书段文振、李景、来护儿、吐万绪等心腹大将，仍旧是名符其实、大权在握的大将军；便是杨集的右卫上将军之职也是一个实职，只不过杨集长期在凉州任职，自己又不想管中枢军队，故而被他自己给虚化了。
关陇贵族各个门阀整体实力虽然强大，但是他们没有一个有能力驾驭一切的领袖，便处于一盘散沙的局面，当三大派各大门阀眼见杨广没有进一步的清算意思，便默认了杨广的改革。而杨广当年受限于紧张时局、同时又要迁都，便没有进一步刺激关陇贵族，所以他正式确立的十二卫四府制和杨坚的军改一样，同样是流于表面、并没有落实到位，甚至就连具体的职责和职权范围也没有明确起来。
但是大业元年借势创立的“十二卫四府制”这项制度，却如同温水煮青蛙一般，早已被人们授受，朝堂上的重臣、地方上的将领对些，也早已习以为常了。
鉴于原十二卫府的上将军、大将军、将军品级高得不正常，杨广便又采用了“改州为郡”的办法，把左右卫改为左右翊卫、左右备身府改为左右骁卫、左右武卫府改为左右武卫、左右领军府改为左右屯卫、左右武侯府改为左右侯卫，加上新增的左右御卫，合称十二卫；而四府则为左右监门府、左右备身府（原左右领左右府）。
而在更名契机，“新”成立的十二卫四府的上将军品级从从一品调为从二品、正二品大将军调为正三品、从二品将军调为从三品，下面的中郎将、郎将品级也各降一级。与此同时，十二卫四府的职权范围也被他借机明确了，此后的十二卫分领天下府兵，而且十二卫“嫡系军”还肩负着宿卫京城的使命，至此以后，十二卫和皇帝掌控的骁果军正式进入居中御外、卫戍京师的阶段。
至于四府则不统府兵，他们主要是环绕在皇宫四周、保护皇帝和皇宫的安全，其中的左右备身府负责侍卫皇帝、左右监门府分掌宫殿门禁，加上兼领“内军”（亲、勋、翊三卫）的左右翊卫，日后的“四府两卫”构成皇帝嫡系中的嫡系。
与十六卫府职能相类似的是负责东宫宿卫、听命于太子的十率，东宫十率分别是左右卫率、左右宗卫率、左右虞侯率、左右内率、左右监