原来来之前陈宫告诉吕布：“刘备天下枭雄，此时新管徐州，必提出相让徐州。若相让，绝不可接受，否则不但徐州得不到，反倒是没了落脚之地丢了脸面被天下人耻笑。”此时吕布已聊至半酣且又是直爽之人哪里还记得这些。
吕布刚要伸手去接令牌，只觉一股杀气隐隐传来，当下不由一惊，也清醒了许多。
原来竟是关羽、张飞脸现怒色看着自己，二人均以手搭剑柄之上，吕布似乎能从二人的眼睛里看的到火，几乎要生吞了自己，吕布心中不由一紧。此时陈宫又适宜的咳了一声，吕布突然想起陈宫来前之语，忙将伸出的手改为推辞，连摆了摆道：“吕布一勇夫，怎能做州牧？万万不可，万万不可。”
刘备见吕布推辞又再三推让，身旁的陈宫见吕布虽是推辞，却是时不时盯着牌印，唯恐吕布“盛情难却”忙道：“强宾不压主，使君勿疑。”
刘备见陈宫此言甚是决绝，这才收回令牌，又设宴款待吕布众人，并安排院落供吕布兵将安歇。
第二天，吕布按陈宫的意思又回请刘备，刘备与关羽、张飞同往，当下二人把酒言欢，酒至酣处，吕布却邀刘备去后堂。
吕布邀请刘备显然是想借机与刘备独处，刘备知道其意，欣然随他到了后堂。
陈登曾经告诉张飞切不可让吕布与刘备独处，加之张飞素来猛壮，见吕布鬼鬼祟祟，不知有什么居心，装作若无其事般拉着关羽便跟了进去。
关羽虽然知道不好，但自己的三弟虎劲一上来，便是九头牛也拉不回来。关羽却也怕这张飞闹出事端，更担心刘备，便半推半就跟着张飞入了后院。
吕布本想私下里和刘备说些关于迎献帝的事，至少旁敲侧击探探口风，因为吕布心里觉得这刘备一是汉室宗亲，二又是仁义之士，却是忠君之人。只是关羽张飞却是不知道情况，此二人一直追随刘备，总不能别无所图吧，因此吕布却担心自己因为此事，反倒被关羽张飞谋害了。
谁知刚要说话却见这关羽张飞大踏步走了进来，吕布知道不是时机，忙拉着自己的妻室及貂禅拜见刘备。
这本是寻常事，岂知关羽看着貂禅却说不出的眼熟。
刘备本来不敢看其妻妾，所以一直没敢抬眼，待其起身时刘备只是随眼一看，方才看清貂蝉面目，不看则已，一看之下不由竟走了神魂，一时竟是看的呆了。
吕布正好言招待刘备，却见刘备两眼发直，呆愣在当场，心中忽然一紧，无名之火便上了心头，只是在别人的地盘上，也不好发作，只狠狠的嗯了一声，刘备方才缓过神来。
知道自己失态，一时失了方寸不知所言，便呆在那里，脸色一阵红一阵白，颇为尴尬。这样一直冷场下去自是不好，吕布毕竟远道是客，但这却也种下了个种子，只是此时吕布寄人篱下，不便冲动，只好忍下此气道：“贤弟，为兄妻妾让你见笑了。”
吕布比刘备虚长几岁，且成名已久，叫声贤弟本无差池，但这一句话却正好让张飞抓到了话柄，只见张飞大骂道：“俺哥哥金枝玉叶，你是什么东西？敢称我哥哥贤弟？来来来，咱们杀个三百回合！”
原来陈登给张飞出了一计，抓住吕布话柄，与其比武，趁此当口诛杀吕布。
此计不可谓不毒，吕布与张飞比武怎敢拼尽力伤张飞性命，因此必定畏首畏尾，而张飞则无顾忌力施为，张飞世之虎将，这种情形若杀吕布也绝非不可能。
刘备、关羽急忙拉住张飞，令其住嘴。
张飞双手被束，无法发狠，踢也踢不到，打也打不到，挣开刘关的手，不理众人就跑了出去，刘备只以为张飞气不过出去了，陪笑着对吕布道：“让兄长见笑了。”
岂知不多时只听外面喊道：“吕布，你给我滚出来与某大战三百合！”
众人大惊，出门一见，只见张飞竟提枪跨马，双目圆睁，气势汹汹的立于门外，长矛直指吕布，刘备见状连忙喝止，又有关羽在旁拉下张飞将其推出了门外，这才算作罢。
刘备见吕布脸色已非常难看，知道自己之前失态其弟又如此薄面，触及了吕布的自尊心，连声道：“劣弟酒后乱言，兄长切勿见责。”
吕布闻言摇了摇头只是默然无语。
却说席散后，吕布送刘备出门，却见张飞早早的跃马提枪在门外等着吕布，见他出来大叫道：“吕布，你来和我大战三百回合！”
吕布一见，心中愤怒不已，双拳紧握，似是已到忍无可忍的地步，心中已决定拼了不留在此地，也不受这窝囊气。
这时一旁刘备忙令关羽劝住，又连声致歉，吕布冷脸不打笑脸人，只好作罢。
次日吕布与陈宫略一合计再这么待下去早晚成为张飞枪下冤魂，便意欲离开徐州，另谋出路，于是当日便来刘备府上辞别：“蒙使君不弃，收留吕布，布感激不尽，但恐令贤弟不能相容，所以吕布思来想去，还是另投他处吧。”
刘备见吕布如此，心里担心吕布是因为自己觊觎其妾才要离去的，只好借着张飞，连声致歉并道：“劣弟愚昧无知，将军切勿和他一般见识，但将军若因此离去，刘备罪责甚大，备实不敢当。在徐州城外有一小沛，乃是刘备