时候，他跟着父亲行兵打仗，很小的时候就已经能够跟着父亲上阵杀敌，他们都夸自己从小就很厉害，以后就是行兵打仗的好苗子。
只不过，这话传着传着就变了味了，到了皇帝的耳中就完全不一样了，后来民间都传自己的父亲想要培养自己以后好谋权篡位。
皇帝听了之后便因为兵舆图的事情命令自己的父亲交出兵舆图。
“皇上，不可，其他的可以给，兵舆图是我们顾家的传家宝，先皇也不曾看见过。”
它只记得很小的时候父亲带着自己上朝，但是就是不会交出兵舆图来，导致了皇帝大发雷霆，最后下令将父亲发配边疆终生不得回京城靠近京城。
而自己，在当天晚上，就被父亲找人妥善安置好了。
“你记住，兵舆图在这里，谁也不要给，这是我们顾家的东西，兵舆图是最重要的，兵舆图在，顾家在，兵舆图不在，顾家亡，你要像守护顾家一样守护兵舆图。”
父亲只留下了这么一句话，便来不及了，顾怀南眼睁睁的看着自己的父亲被发配边疆，一年后，因为一个意外，父亲在边疆突发身亡，不久于人命。