潼关西南方向的城墙建在凤凰山的土坡之上，因为是靠西边，平时也不是防御的重点，因此城墙建的不算宽也不算高。

当宋军的先头部队万余人在杜常、夏椒二将率领下向潼关发起猛烈进攻时，金军守城部队兵力不足的弱点，便暴露了出来。加之金军远道而来，又是靠偷袭抢占的潼关，根本没时间查探周围的地形，对潼关的地理环境不熟，没有在潼关旁的凤凰山上分兵把守。

于是，在潼关溃兵的带领下，宋军从凤凰山一带利用陡峭的山势，从西向东，居高临下，在多处架设起云梯攻城。

金军守城将领缺乏守城经验，一时无法组织兵力在城墙上进行有效阻击，金兵登时乱作一团。

然而，潼关毕竟是易守难攻的险要之地。金军凭着强悍的身体和手中的刀斧弓箭，硬是挡住了宋军好几次猛烈进攻，屡次将已经攻上城头的宋军赶了下去。

杜常、夏椒所带领的这部分宋军，也算是矮子里拔高个精挑细选过的，大部分是厢兵出身，相比之下也算是精锐了，有些战斗力。经过一段时间的休整，宋军便又发起了新一轮的攻击。将士们不断地攀着云梯冲上城墙，又不断地被金兵砍杀下来。

天上下起了大雪，雪在下、血在流，寒风中血染积雪，两军杀得难解难分，横七竖八倒在城墙下的尸体也越来越多。直到夜幕降临，宋军才缓缓退去，潼关城上的金军才得以喘了一口气。

金军越打越少，伤亡已经过半，宋军损失更大，已经有2000余人倒在了潼关城下。

时间越拖越久，形势也愈来愈严峻，一旦汾州附近战事结束，让金军腾出手来增援潼关，后果将不堪设想。

范致虚下了死命令，三天之内必须夺回潼关。同时把自己带过来的五万人，分批次不间断的投入攻城战之中。

李孝忠也率部跟着范致虚来了华阴，可他没有参与攻城。一是李孝忠并不准备过早地暴露西军的实力。二是范致虚也不舍得让李孝忠带来的这清一色的骑兵消耗在这攻城战之中。