三日后一早，有四个衙役带着沈穆之上了一辆马车，没有给他上枷锁。不久他们到了河渡口，换乘了摇橹船。
船行约一个时辰以后，只见水面逐渐开阔，风帆隐隐，水鸟翔集，沈穆之觉得似乎行至了太湖。
午后小船靠岸，差役们又带着他步行走了不少路，日落之前，来到一处湖边，依旧坐船朝湖心岛进发。
沈穆之忍不住问道：“差大哥，咱们这是在哪里？”
有个略和善的差役道：“这里是洞庭西山，此处湖心岛上有个采石场，咱们正是要去采石场。”
沈穆之暗道自己应该能活命了，费了许多周折，把他弄到采石场，多半不要他性命。
此处原来是洞庭西山，他千里迢迢，就为的要到洞庭西山投亲，想不到自己会以囚徒的身份来到西山。
四个衙役把沈穆之交给采石场的差役就走了，没有人来盘问他甚么，差役发给他一身号衣，一双蒲鞋，领他去指定的号房。
号房里已经有了一个人，是个威风凛凛的大汉，赤脚睡在柴草堆上，这大汉不说话，也不欺凌沈穆之，沈穆之靠在角落里缩了一宿。
第二天清早，差役们驱赶着号房里的犯人们去采石场干活，采石场里管理不太严，大概是孤岛四面环水，没有船出入，很难泅渡到对岸。
沈穆之发现，他与同号的那个大汉是被优待的，没有差役盯着他们去凿石掏方搬运，他跟在众人后面出点力就行了。
浑浑噩噩过了一两个月，岛上条件虽然艰苦，沈穆之因为有之前逃难流离失所的经历，竟也忍受了下来。
转眼岁聿其莫，一日差役们将他和同号的大汉叫起来，说柳府尊来了岛上，要提审他们。
那大汉先进去，隔了很久才出来，垂着头，面无表情。
接着是提审沈穆之，柳府尊仍是远远地坐在堂前，许久未有的惊惶又压迫着沈穆之。
良久，柳府尊冷冷问道：“赤脚刘大跟你说过甚么吗？”
“赤脚刘大？哦？”沈穆之听到这个陌生的名字楞了一下，随即猜到就是指同号的大汉：“他，从未与我说过话。”
“哦。”柳府尊与左右耳语一番，回头对沈穆之说：“赤脚刘大要是同你说话，你就牢牢记着。”
说罢拂袖离开。
如此一连三年，年底之时柳府尊就来提审他们一次，看样子，并未得到满意的答案。
岛上差役对沈穆之的管束更松，他有时漫山遍野乱跑，晚上也只能回到采石场。没有食物和水，进出岛屿的船只，他是逃不出去的。
同号房的刘大还是对他一言不发，他听别的号房的人说，这赤脚刘大是太湖大盗，凶名在外。
第四年夏天，有一日凌晨，号房前忽然传来阵阵鸟叫，沈穆之自从豫章王府迎宾馆事变后，睡觉就很警醒，他偷偷冷眼里看着赤脚刘大，赤脚刘大显得很焦躁，在号房里踱来踱去，然后也模仿着小鸟叫声，但是外面的鸟叫声又响起来。
号房门前冲过来两个人，似乎是一男一女，他们举着大刀铁棍就来砍号门。
“二弟，三妹，你们快走，这个号房都是精钢灌注，你们开不了的。”刘大扑到门前。
“大哥，你再挺一挺，我去抓几个狱卒抢一把钥匙。”那男的从号门的格子里丢进来一把匕首，昏黄的灯火下，闪闪发亮。
“不可不可，惊动了狱卒你们就跑不了了，我被那狗官灌下了毒酒，早就武功尽失成了废人，根本不可能逃出去。”
那女的惨声道：“大哥，我们同生共死。”
门外渐渐脚步声杂沓起来，差役们大概发现有情况，纷纷赶过来。
一男一女仍旧破不了门，刘大连连摆手道：“你们快跑，那狗官留着我有用，不会杀我，倘若他拿住了你们要挟我，就更不妙了。”
那一男一女，听到外面杂乱纷纷朝这厢涌来，只得疾步向外，身影消失在黑夜里。
差役们过来见两个人都在，便熟视无睹地无视地上一片狼藉，用警告的眼神看了看里面的赤脚刘大和沈穆之。
里面的两个人都默不作声，刘大知道沈穆之看见了二弟丢进来的匕首，沈穆之并不想坐一辈子牢，也没有要继续当柳府尊走狗的想法，上次对付白鸢教是迫于无奈，所以，他嘴巴闭得很牢。
从此以后，背着人，他们两个偶尔说几句话。
第四年，第五年柳府尊依旧年底来提审他们一次，赤脚刘大还是没有招出柳府尊想要的答案，他们两个就这么羁押着，别的狱友陆陆续续刑满释放，他们的刑期遥遥无期。
第六年的时候，柳府尊没有来采石场。
赤脚刘大对沈穆之说：“小兄弟，外面肯定出了变化。”
沈穆之阅历浅，又且坐牢多年，哪里想得通关窍。
夜里刘大说：“小兄弟，你想学武功吗？”
沈穆之当然想成为强者，于是刘大悉心教导，沈穆之日日打熬身体。
外面不知道甚么情况，柳府尊从此没有再来提审他们两个。