信心的，但提起手下那帮人的素质，戚继光就只能无语问苍天了。
关于这个问题，戚继光曾与当时的台州知府，后来的举世名将谭纶有过一段极为有趣的谈话，大致如下：
戚继光（下简称戚）：虽然我已尽全力操练，但经历战阵之后，我才发现，新军有很大的问题。
谭纶（下简称谭）：什么问题？
戚：我所部三千新军中，大部都是处州（今浙江丽水）兵和绍兴兵，这两地士兵各有特点，比如处州兵，作战十分勇猛，听命从不迟疑，冲锋陷阵，非常积极，是战斗的主力。
谭：有什么问题吗？
戚：但他们每次打仗之前，都要和我谈条件。
谭：谈条件？
戚：作战以前，他们要求必须知道作战的对手和人数，然后自行内部商议，如果认为能打，就作战，但要是他们认为不能打，即使费尽口舌，他们也绝不会卖力。
谭：……
这还没完，头疼的在后面。
戚：相对而言，绍兴兵更加听从命令，无论打什么仗，他们从来不会拒绝，完全服从，而且不怕辛苦，扎营修城之类的力气活，安排他们干，他们就会尽力去干，且从无怨言。而在战场上，如果敌人退却，他们会主动追击。
谭：遵从军令，作战勇猛，这不是很好吗？
戚：但问题是，如果敌人进攻，他们就会主动撤退。
谭：……
戚：当然，如果敌人再退，他们还是会追，但若敌人回军，他们会再次撤退，据我统计，但凡与敌相接三十步内，即将肉搏之时，他们一般会全军退走。总而言之，关键时刻实在靠不住。
谭：那你打算怎么办呢？
沉默片刻后，戚继光用一声重重的叹息结束了这次谈话：
“我也没有办法。”
其实在两人的这次谈话中，涉及到了一个十分重要的理论——地理决定论，一般说来，生活在艰苦山区的人性格比较强硬，而且民风彪悍，不怕死，而在经济发达地区，混碗饭吃实在不难，不到万不得已，鬼才愿意拼命。
处州地区多山，经济条件差，是少数民族聚居区，当地人向来信奉脑袋掉了碗大个疤之类的玩命理论，绍兴山清水秀，读书人众多，且主要从事脑力劳动（如徐渭），实在不行还可以搞点旅游服务业，实在犯不着去拼死拼活。
而对于这种地区差异性，单靠训练是无法解决的，戚继光确实没有办法。
没办法就只能凑合着过了，但逢作战，戚继光只能安排绍兴兵守营，然后去跟处州兵做思想工作，劝说他们奋力杀敌。此来彼往，疲于奔命，每次打完一仗，都得累得半死不活。
为了让自己不至于在战死之前，就被活活累死。戚继光决定去寻找一群勇猛强悍的人，来代替现有的士兵，组建一支真正战无不胜的戚家军。正如他跟胡宗宪所说的那句话——堂堂全浙，岂无材勇？他相信自己终究是会找到的。
一年之后，他终于找到了合适的对象——因为一次偶遇。
嘉靖三十七年（1558），戚继光因事出公差，事情办完后，他没有原路返回，却兜了个圈子，准备视察民情。
然而当他偶然路过一个地方的时候，却看到了一幕让他触目惊心的情景。
他经过的地方，叫做义乌，他看到的场景，是打架斗殴。
作为一名见惯杀人放火、尸横遍野的军事将领，戚继光的心理承受能力是相当强的，但他依然被这次斗殴震惊了，因为这并非一次寻常的街头流氓打架，从某种意义上说，这是一次载入史册的斗殴，是一次改变了抗倭历史的斗殴，是一次光荣、成功、团结的斗殴。
事情是这样的，义乌原本属于经济不发达地区，老百姓都很穷，偏偏老天爷够意思，该地陆续发现许多矿藏，于是当地的农民纷纷离开耕地，改行当了矿工。
矿自然比粮食值钱，慢慢地义乌人发家致富了，这下子旁边的穷兄弟永康（今浙江永康）不干了，希望义乌能拉兄弟一把，有钱大家一起赚，有矿大家一起挖。
但义乌人不答应，俺们挨了那么多年的苦，好不容易熬出点盼头，现在你来吃现成的，你算老几？
然而永康的穷兄弟们依然出发了，带着农具、铁铲和管制刀具，向着梦想中的致富地点奋勇前进，反正穷命一条，当今世上谁怕谁，吃定你了！
义乌方面得到消息，立刻组织数千人前往拦截，双方在义乌城外的八宝山（偏偏是这名字）相遇，就此开始了这场惨烈无比的斗殴。
戚继光之所以有幸看到这幕盛况，绝不是人家上午开打，他下午就赶到。真正的原因在于，这是一场十分特别的斗殴，义乌的百姓们用实际行动证明了一个事实——原来斗殴也是可以旷日持久的。
自嘉靖三十七年（1558）六月起，义乌矿工、乡民与从永康赶来的开矿者爆发械斗，双方参与殴斗人数累计达三万人左右，历时四个月，直到十月秋收方告结束，死伤共计二千五百余人。
那是让戚继光永生难忘的一幕，无数平凡的义乌百姓在那一刻变得如此不平凡，他们不论男女老幼，大家一同上阵，用所有能找