这些年来，高颎都是与隋文帝同心同德的，基本上什么事情都是有一致的想法和意见的，但是唯独废太子这件事情，高颎却以“长幼有序，其可废乎？”，坚决反对，弄得君臣二人不欢而散。
为什么高颎一定要反对隋文帝的废立之举呢，无非是公私两方面原因。
从公的方面讲，高颎作为一位有经验有远见有操守的政治家，他深知废长立幼可能会引发很严重的政治斗争，轻则国家政局不稳，重则国破家亡，这在历史上是有很多经验教训的，他不想隋朝重蹈覆辙。
从私的方面讲，高颎与太子杨勇是儿女亲家，他的儿子高仁表娶了太子杨勇的女儿为妻，以高颎和太子杨勇的这层关系，如果杨勇的太子之位被废，换了新太子，新太子继位后，他这个身份也很难再朝堂立足，就算高颎再怎么向新皇帝表忠心，新皇帝也不一定相信，除非废太子杨勇已死。
高颎反对杨坚废立太子就这两个原因，并不是民间传说的那样，他和杨广之间有私人恩怨。
民间传说杨广和高颎的私人恩怨就是因为这次灭陈之战中出现的一个女人，这个女人便是张丽华。
张丽华是陈后主陈叔宝的宠妃，相传张丽华能歌善舞，祸国殃民，把陈后主迷得晕头转向，从此君王不早朝，就好比商纣王时的苏妲己。
陈朝被灭后，杨广也被张丽华的盛世美颜给迷住了，想占为己有，可是高颎却认为此女是一红颜祸水，二话不说，一剑就把张丽华给杀了，因此二人结怨。
高颎在观察杨广的同时，杨广也再观察高颎，杨广可是对高颎这位大隋第一名臣垂涎已久，一直想收为己用，但他知道现在的高颎是拉拢不了，也不能拉拢。
如果他现在去拉拢高颎，不仅会徒劳无功，还会暴露自己的“狼子野心”，高颎一定会把自己的“狼子野心”告诉太子杨勇，那自己就被动了。
耶！不对，现在才开皇八年，杨广自己才刚满二十岁，虽然太子杨勇出生不详，但他至多长杨广五岁，今年也最多二十五岁。
杨坚和独孤皇后一共有五子，长子太子杨勇(出生不详)，次子晋王杨广(569年出生，今年刚满二十岁)，三子秦王杨俊(571年出生，今年十八)，四子蜀王杨秀(573年出生，今年十六岁)，五子汉王杨谅(575年出生，今年十四岁)。
从后面四子的年龄差距不难看出，独孤伽罗每隔两年就会生一子，所以即便太子杨勇出生不详，与二子杨广的年龄差距也至多不过五年。
二十五岁的杨勇，女儿肯定不会超过十岁，因此现在太子杨勇和高颎应该还没有联姻，这不禁让杨广看到了机会。
无论在什么朝代，人口一直是一个国家的“战略资源”。
因为我国古代一直是农业为主的国家，人口的多少直接决定了一个国家的生产力强弱。直接影响国家的综合实力。所以历朝历代都鼓励“早婚”和“生育”。现在我们来看一看历朝历代的婚姻和生育政策。
汉朝：汉朝规定，女子的法定结婚年龄为15岁。男的没有。这就是赤裸裸的“男尊女卑”。如果女子在15岁以上30岁以下，还不结婚。就要罚款啦，罚没600钱，没商量。
唐代：贞观年间，规定结婚年龄男子为20岁，女为15岁。到开元年间，也就是唐玄宗时期，为了增加人口，把结婚年了提前到男子15岁，女子13岁。
虽然隋朝没有具体规定男女都法定年龄，但最早也就与唐开元时期相当，男子15岁，女子13岁。
为了百分之百的确认太子与高颎现今是否联姻，杨广立刻传来了黑衣卫指挥史杨安询问。
杨安是杨家的家将，因在和北齐作战时伤到了命根，于是便进宫做了宦官，在杨广开府时被杨坚任命为了晋王府的总管太监，顺势成为了晋王杨广的心腹，杨广见杨安武艺高强且颇有谋略，在组建黑衣卫时便对其委以重任，命其担任黑衣卫统领，全权负责黑衣卫的组建事宜。
杨安也没有辜负杨广对他的信任，很快便完成了黑衣卫的组建工作，经过这些年的发展，黑衣卫成员已不下五千人，眼线遍布隋朝和南陈的各个州县，成为名副其实的天下第一情报组织。
杨广在组建黑衣卫时便是以明朝锦衣卫为蓝本的，所以黑衣卫在结构和职务名称上面也和明朝锦衣卫大同小异。
明朝锦衣卫:设指挥使一人，正三品；指挥同知二人，从三品；指挥佥事二人，正四品；镇抚使二人，从四品；十四所千户十四人，正五品；副千户，从五品；百户，正六品；试百户，从六品；总旗，正七品；小旗，从七品。
杨广在锦衣卫的职务名称上有一些轻微的改变，将指挥佥事和镇抚使合二为一，两级改为一级，仍叫镇抚使，但人数却由原来的二人变为四人，两名指挥同知下面便是四名镇抚使，一名指挥同知下面就有二名镇抚使，这样可以达到分权和相互监督的作用。
杨广这一改，黑衣卫的职务便是:指挥使一人，指挥同知二人，镇抚使四人，千户若干，副千户若干，百户若干，副(试)百户若干，总旗若干，小旗若干。
当然，黑衣卫是杨广的私人