一入江湖身不由己，赵昺虽然声称要强行离开，但是他知道自己也就是说说而已，闹闹脾气罢了。 最后两厢妥协，众宰执同意陛下前往文昌行宫避暑，每日由中书省将一般事宜进行汇编通报给皇帝，重要事项另行呈文请他批阅。这个条件已经很宽泛了，赵昺点头同意。
赵昺虽然想早些离开，但是想动下也是十分繁琐。安全当然是第一位的，先着令倪亮及刘灵率三营护军和二十多个内侍前去行宫打前站，布置警戒，整理房屋。同时令右军派兵前往文昌负责外围警戒，白沙水军出动船只巡视周边水面，而家里则忙着打点行装，常用的、不常用的，万一用的上都要带上。
既然赵昺还要处理公务，幕僚班子也不能少，便由应节严率队随扈同去。经过五天的准备，选定了吉日，队伍才得以成行。琼州府城距文昌县6路二百余里，按照正常行军度也要七天，赵昺考虑从驿道前往各个州县还要迎驾，安排护卫，准备大队人马所需，如此太过扰民。于是决定走海路方便，那样几条船便解决了所有问题，且行船不过一日夜就到，自己也免了劳顿之苦。
八月初六，赵昺辞别太后，在城外码头登上社稷号，随行的只有两条辎重船和五艘龙船。沿南渡江至海口出海后，白沙水军派出二十艘战船护航，经过一天一夜的航行后，次日到达博鳌，在岛南的码头靠岸。说起来这也是他第二次来此了，但上次没有登岛，这里也只有几十户疍民在岛上居住，而这次却热闹许多。
但是当初把避暑行宫建在这里并非赵昺的主意，但是开博鳌却是他的命令。自入琼以来，连番打了几场大仗，而每次战斗之后都会有大量的伤兵。他考虑到这些伤病多是孤身一人，且许多人会落下残疾难以重新入伍，因而决定在琼州之外选一处风景秀丽之地建立军人疗养院，即可让伤病员在此休养，也可让官兵轮流到此放松疗养，于是便选中了博鳌。
在赵昺前往崖山的时候，应节严便调动辎重军上岛修房建屋。他不知道博鳌在后世的名气如何之大，但上岛选址之时现此地正处于白泉河与南海的交汇处，不仅水产丰富，且有融山、河、湖、海、岛屿于一体，集树林、沙滩、温泉、奇石和田园于一身的美景；还有绵延长达十数里的海滩，众多造化神奇的岛屿与河汊。于是他也被风景所吸引，想着自己那宝贝徒弟只要不死，府城那所狭小的宫殿肯定是关不住他的，便做主修建了避暑行宫。
赵昺还未上岛便看到了自己的行宫，噗嗤便乐啦！老头也太能搞了，这可能是世界上最独特的宫殿了，分明就是座土楼，像一座巨型碉堡矗立在海岸上。其明显是在糊弄自己是个城里娃，没有见识，在船上还洋洋得意的向自己谝乎，说行宫修建如何奇特，功能如何齐全！
不过老头也说得不算错，登岸后走不过两百步便到了行宫门外，从外表看整个建筑就像一座圆形的大粮囤，占地约有二十亩地。面南背北，建在一个高地之上，循门而入迎入眼帘先是个半月形的池塘，里边放养着鱼鳖，巧妙的是池塘正建在一个泉眼之上，不需另外引水便可得到充足的水源，即可放眼鱼虾，浇灌花草，还可蓄水防旱、放火，汇聚雨水。
池塘相对的另一半则是房舍建筑，两个半部的结合处由一长方形空地隔开，以三合土夯实铺平，洽可作为护军的演武场，正中为方形主体建筑，也就是赵昺的生活之地了。应节严说这是取天圆地方之意，而他看着却像一个巨大的铜钱，自己就钻在那钱眼儿里。
边走边看，以赵昺前世所知，整栋土楼采用的是三栋两横围龙屋的建筑模式，有上、中、下三厅，各厅之间均有一口天井，并用木制屏风隔开，屏风按需要可开可闭。厅堂左右有南北厅、上下廊厕、花厅、厢房、书斋、客厅，居室等，错落有致，主次分明。建筑结构前低后高，这样就有利于采光、通风、排水、排污。
横屋外层便是半月形的围屋层，高有四层，拱卫着正殿，形成一道防御屏障。弧形的围屋间共有几百间之多，即可住人，也可储存物资。围屋间一、二层不设朝外的窗子，三楼四楼和每个房间都有朝外的大窗，既利于采光，流通空气，又成了了望敌情和向外射击的枪孔。窗户一般不大，可以作为瞭望孔、射击孔抗击来攻之敌。另外围屋之上还相间筑有角楼，用以警戒瞭望。
赵昺敲打下墙壁，手砸的很疼却没有回音，以他估计墙壁至少也有五、六尺后，从露出的墙体看，基础部分皆是用条石垒砌，上面是用生土夯筑。如此厚的墙体使保温性大大增强，做到冬暖夏凉，且还能抵御敌兵的攻击。而他觉着，应节严修建行宫时肯定想到这里临近大海，容易遭到海上敌人的袭击，因而在防御上也做了诸多的考量。如此大的建筑只开有一道正门，有敌来袭封闭大门后就成了一座坚固的堡垒。
大门的门框，门槛都是条石，门板厚约一尺，包着铁皮。大门上斜挖了几个嵌有竹筒的护门孔，倘有敌攻门，则可往下射击和浇开水。为防敌放火，大门上方还安装了防火水柜、水槽，只要一按开关，水便顺门而下，以灭火护门。另外