桥下撞着他们的身影，不是在喝茶饮酒，谈天说地，就是对弈下棋，较量棋术。好事者围在一边看着，见姓夏的已经让过姓杨的六个子了，杨怀绳还是敌不过他。
这般悠闲了几日，夏元龙才找了卫、杨二人，要商议筹办书院。众人对此皆十分赞同，二话不说，争着要当出钱的大头。卫祭酒说自己家财丰足，夏元龙说自己深通经营，杨怀绳则说自己受人之恩，正可报答。因而都没一致的看法，不曾定决。
卫怀便说：“还不如都出一样的钱，各位也就安心了，怎样？”他二人深以为是，都出了十两银子，卫怀也出了十两，共拿着三十两银子去建一所书院。卫怀恐到时短了钱，那两位又要替他出，便暗地加付了二十两银子，以防不虞。
故这所书院只到半年，便顺风顺水的建成了。
夏元龙考虑到他二人俱有公职在身，不便抽身打理书院，遂干脆辞了职，只一心在书院里教书，并给书院起了名字，挂了匾额：思和书院。