大唐武德4年3月,就在攻守双方互拼耐力之时,夏王窦建德认为卞庄刺虎的机会成熟了,窦建德亲率夏军主力向洛阳进发,兵力达到十余万,号称三十万。夏军一路攻克唐军占领的郡县,于当月到达洛阳东侧的虎牢关外。唐军将领大为恐慌,包括萧禹、屈突通、封德蠡在内的重臣大将纷纷请求李世民暂避锋芒,李世民认为虎牢关易守难攻,窦军短期内绝无可能与城内王军汇合,这正是各个击破的好时机,绝对不可功亏一篑。于是李世民留李元吉领一半兵力继续围城,自己率另一半兵力赶去虎牢关迎击窦建德。李世民就在大白天堂而皇之的撤走一半兵力去虎牢关增援,王世充在洛阳城头看在眼里,明知援军已到,却没有能力出城接应,夹击唐军,取胜的机会就这样被错过了。如果窦建德在二月到达,王世充的二万子弟兵出城夹击,不知局势会是如何。如今王军已丧失战斗力,使唐军可以轻松调主力迎击窦军,王世充心中不知是何滋味。当时唐军已经久战疲乏,见夏军势大,普遍心生畏惧。为了激励士气,李到达虎牢的次日就亲自出马要给窦建德一个下马威。
当天,李带了亲卫队五百骑出关去探窦的大营,两地间距离二十余里,李将所带兵马安排在沿途各处险要之地埋伏,伏兵分别由李世绩、秦叔宝、程知节率领,而李自己只带了尉迟等四骑,五个人大摇大摆就直奔窦建德大营。这实在是太疯狂了,简直是拿性命开玩笑,不过李世民是很有信心的,他对尉迟吹嘘说,我持弓箭,你用马槊,咱们走在一起,即便来千军万马也奈何不得,如果敌人见到我就跑掉,那算他们聪明。五个人离窦军还有三里时遇到了敌人的流动哨,李世民跳将出去,大喝一声,我乃秦王李世民也!一箭干掉了对方带头的小将。窦军中大惊,虽然不信真是李世民,但还是出动了五六千骑兵杀将出来。五人组中无名的那三个吓得面目变色,李世民命他们先撤,自己则和尉迟二人殿后。这二人的组合果然威力惊人,敌骑追在最前的一定中箭毙命,所以敌人不敢逼近(看来窦建德真是缺乏勇将)。从窦军的角度考虑,虽然不敢太靠前,但又不甘心就此回去,所以就不知不觉地被引入了李世民事先安排的埋伏。李世绩等人带了伏兵杀出,窦军仓皇而逃。
这一仗本身只能算小冲突,无关大局,但其本质其实是心理战,李世民只带了寥寥数人就敢到窦建德门口耀武扬威,而且还胜利而归,简直就有些望风披靡的味道,它给窦部的心理冲击是十分巨大的。
窦建德与李世民在虎牢关相持到四月,窦军久攻不下,接连小败,军中士气低落,李世民又派大将王君廓袭击窦的补给线,战况开始对窦军不利。窦的谋臣凌敬建议放弃进攻虎牢关,采用围魏救赵之计,趁唐军精锐尽在洛阳城下无法脱身之机,全军直扑唐的根据地关中,李世民势必进退两难,不得不从洛阳撤兵,而窦军则可立于不败之地,最坏的结果也不过是撤回河北而已。窦本已打算采纳凌的建议,但王世充的告急使者每天络绎于道,在窦面前痛哭流涕苦苦哀求,同时又贿赂窦左右将领,让他们在窦面前贬低凌敬(大意是说凌一介书生,不懂军事),坚持不撤兵,窦不知是侠义精神发作,还是仍然想继续刘彬的一箭双雕之计,反正最终没有采纳凌敬的建议。于是,窦无视相持所带来的种种不利,继续与李世民进行攻防战。