外御苑延祥园休养。这更加让他迷惑，难道这是要将自己赶出京城，便于其行事，可太后是想做什么却怎么也想不透。略作准备后，他辞别太后前往城外的延祥园，随扈的除了侍卫营外，还有亲卫旅一团。
赵昺这时候觉得更加不对，亲卫旅是由倪亮兼任旅长的，可这一团却有些特殊，其统领乃是杨亮节的三子杨世隆。当年蒙元南下，杨亮节护送妹子及两个外甥南奔，并参与拥立亲外甥赵昰为帝，成为国舅。后来随驾至泉州，因军务别往，及归，少帝一行已至潮州。遂携三个儿子世昌、世耀、世隆追到漳州，但是未能赶得上崖山之战，前往琼州后不久病死，被追封为郡王。
此后杨亮节长子世昌袭其爵位，次子师耀归乡守陵，三子世隆投入军中，累功至统领。组建亲卫旅时，应太后要求调任一团统领。赵昺想想毕竟大家是亲戚，让自己人担任内宫的防卫也比较放心，太后也能安心。没想到这次居然仍让他随行，使他心中不免犯了嘀咕，而事情也变得更加迷雾重重，难以琢磨……