不得不在当地招兵，且杭州以及周边地区人口众多。临安府人口上百万，当时苏杭一带和周边地区的两浙路人口在一千二百万以上，而杭州城各类军队最多时才十三万，整个两浙地区各类军队最多时也不到二十万人。表面上看，如此高的人口比例下兵员素质还是可以保证的。
但问题却出在了野蛮而糟糕的招兵方式上。比如开着大船在漕河无人处，看到强壮少年，直接抓起来；又比如布置带机关的木栅栏，里面放些财物，如果有贪财的去拿，就启动机关，关闭栅栏。让人不得不感叹这是招兵呢还是抓鸟呢？
甚至还有吃相更难看的，据传说有一次南宋名义上的精锐与禁卫军殿前司缺额数千人，皇帝诏三衙分月招补，而那些招兵的人为了侵吞募兵用的财物，直接抓老百姓充数而不给钱结果一时间，那些以砍柴卖鱼虾为生的老百姓都不敢去杭州了。
而正所谓上梁不正，下梁才能歪。南宋政治的**，使得三衙将领也多是溜须拍马，缺乏能力的纨绔子弟。所以名义上的南宋顶尖精锐殿前军，被当时人评价为“殿司兵素骄……复负重暑行，不堪其苦，多相泣而就罄，道旁逃屋皆是，臭不可近。地多眢井，亦或赴死其间”也就是说，以吴人为主力构成的殿前军连暑天行军的能力都没有，指望他们打仗这事真的是想太多了……