骤雨初晴，地面湿滑，适合守而不适合攻击的情况下，三千多破虏军先锋，从天目山的附近的缓坡上冲了下来。
双方刚一接触，新附军的前军就被人透阵而过，割成了两半。紧接着，破虏军将士一个大迂回，将成为两半的新附军切成了四半，八半。新附军的弓箭，很难射透对方前锋身上的锁甲，而对方的双环柳叶刀，往往能将新附军将士连人带武器一同斩断。
负责“重型”武器的新附军后队刚刚展开，野战用的弩车还没来得及绞紧弦，对方的小炮早已遥遥的招呼了过来。铁弹丸几步距离一个，密密地从新附军后队上砸了一排。爆炸声过后，新附军后队的阵地就向被犁过了一遍般，不见半点草绿色。所有的床子弩全部碎裂，翻在烂泥里，和士兵们的血流在一起。
“降者免死，顽抗者只杀不俘！”张唐的声音适时地在军阵后响起，大部分新附军如蒙大赦般，丢下了武器，跪在泥浆中。少部分顽抗者，被钢弩和砍刀招呼，倒下，又被人毫不客气地补上一刀。
“他们对于反抗者，比蒙古人还狠！”很多新附军将士过后总结道。此战后，他们被张唐下令释放，大多数人再也没回北元阵营中吃粮。
“真正硬碰，蒙古军也未必是他们的对手！”很多人得到了这个印象，并且，把这个印象谣言般，四下传播开去。
也有人觉得，火炮的威力没有传说般大，也没想象的那么密集。但大伙都是没有军饷的新附军，实在没有卖命的必要。有了借口，跑起来反而心安理得了。
谣言的传播，永远比人的脚步快。两浙各地大乱，百姓纷纷北逃。蒙古人南下之初，下令两浙各地投降城市，必须将城墙自行拆除。此时两浙兵马皆被范文虎调走，诸城无力自保。一些当地官员与豪门悄悄地遣人联络张唐，为自己和家族寻找退路。
五月二十八日晨，略做修整的破虏军兵临湖州城下，城中士兵大部分已经丧于天目山下，守将钱守仁选择了投降，唯一要求是，要求破虏军将他的全家带走。
张唐答应了这个请求，入城，把北元派来的色目仓库使斩首。开仓放粮，将金银细软和粮食，全部分给了湖州百姓。湖州周围几波前来助战的山贼，也分到了不少粮草武器，跟在破虏军身后，呐喊助威。
六月初，钱守仁从钱塘登船出海，不知去向。临安大户朱万年见守军兵少，试图叛乱，为北元杀人立功。事败，全家三百多口被守将方胜处死。家产被散，地契被烧，房屋被拆成白地。
六月三日，破虏军兵临嘉兴，张唐麾下，除了同来的破虏军将士，还多了三万附近的山贼、义勇。他以宋军不入城为条件，劝降了嘉兴守将胡良佐。克嘉兴，散府库，然后弃城而去。南下海盐，把浦东、青村、袁部等北元盐场劫掠一空，食盐全部分发给了百姓和义军，当地百姓欢声雷动。
六月十日，破虏军攻入华亭。守将阎梦雪为北元守节，城破后投火而死。张唐收其尸葬之，在其碑上手书“汉奸”二字。当地人不解其意，责张唐辱及死者。张唐曰：“身为汉人，却甘心为蒙古人奴，不为汉奸，以何称之！”
当地儒生以圣人忠于君之语辩解，张唐问之曰：“可知君与圣人之上，还有国家二字乎。国家者，国于前，家于后，至于君，在家之更后！”众儒瞠目结舌，抱头而去。
六月十二日，北元两浙大都督范文虎回师反扑临安，方胜弃城，去钱塘，据江而守。范文虎不知是计，挥军尾随。追至江岸，双方对垒。文虎以数重方阵相迫，海上忽来巨舰十余艘，宋将杜浒以巨舰大炮轰范文虎之军。新附军悴不及防，被被炸得乱成一团。战阵过密，人马相踏，死者不计其数。范文虎不得已，退回临安，欲凭城再战-->>