在宜兴，岳飞收降了周边地区的多支盗匪以及金军强征来的河北伪军。岳飞在同乡的签军中有着很高的声望，伪军们都传话说“是岳爷爷的军队。”，纷纷过来投诚。岳飞麾下的军队逐渐扩充到了一万多人。而且随着战斗经验的增加，不但军队战斗力大增，岳飞及其麾下将领们的军事才能也都有了明显的进步。
当地百姓真心感激这支军队为他们带来了平安，出于对岳飞的敬爱，私下里开始将这支军队称为“岳家军”
三月，金军一部在劫掠了秀州和平江府之后，攻向常州。常州知州周杞探知这一情况，派岳飞的旧识赵九龄到宜兴县，请岳飞镇守常州。但在岳飞启程之前，胆小的周杞却已经放弃常州城，也赶到了宜兴。
于是岳飞便与周杞、赵九龄一起带兵北进，夺回常州，又尾随这支金军追袭于镇江府东边，再次取得胜利，但由于岳飞只带了几百骑兵先行，兵力不足，故而歼敌不多。
接下来岳飞又集中兵力剿灭了已经沦为盗匪的昔日同僚戚方，并成功将其俘虏。以戚方的罪行本该处死，但考虑到眼下还是战乱之世，岳飞看重他的将才，便赦免了他的罪行，并将其收为己用。
由于合并了戚方的人马，“岳家军”也因此继续扩充，兵力过了一万五千人，而在连续不断的艰苦战斗中，“岳家军”中的核心“背傀军”（其实一般写作背嵬军，这样写是为了与韩世忠麾下的相区别，而且打字也方便＝。＝）也开始逐渐成型。
赵构回到越州后，任命张俊为浙西路江东路制置使，让他暂时节制东军所有军队，以尽快收复建康。张俊不愿自己的部队付出过大的伤亡，也没有必胜的把握，便将这份苦差事交给了岳飞。
就在兀术成功北逃的同一天，岳飞率军在位于建康城南三十里的清水亭战大捷，金兵横尸十五里，获得耳戴金、银环的女真人头一百七十五级，活捉四十五人。其后由于兀术北去，滞留江南的金军失去了统一的指挥，岳家军又在牛头山等地多次告捷。
五月十日，岳飞率军在龙湾取得了宋金交战以来前所未有的大胜，光是斩杀的蕃兵就过了三千，还俘虏了二十多名蕃人军官，此役之后江南金军残部基本被肃清，岳家军由此收获了经验和信心，迅成长为一支威震天下的赫赫强旅
在这些战斗中，刚刚从河北老家逃出与父亲重逢的岳云，因其武艺精通、勇猛过人，被岳飞立即编入了军队，归自己刚刚提拔起来的小将张宪统辖。岳云的一对铁锥枪重达八十来斤，可刺可砸，兼具钝器的威力与锐器的灵巧，一时间所向披靡，但岳飞却多次瞒报其功绩，挤兑部将不好邀功，以牺牲儿子利益的方式来减少全军的开支
建炎四年，韩世忠和岳飞先后给予金军重创，令宋军将士倍受鼓舞，也沉重地打击了金军不可一世的嚣张气焰。而原本来源复杂的乌合之众南宋东军，其实力日益壮大，逐渐成为了南宋政权的主要支柱。
不过，南宋现在虽然取得了一系列的胜利，但都是在自己的土地上打的反击战，金人在战略上仍然占据着绝对的优势。且不说目前中原与江淮地区仍然被金军占据，南宋内部也是问题重重，尤其财政危机更是到了迫在眉睫的地步。
南宋建立以后，外有金军进逼，内有盗匪作乱，朝廷能够实际控制的地域小得可怜，而这点地盘在金军这次“搜山检海”的大冒险中又被彻底地洗劫了一遍，如今江南不少地区等朝廷救济还来不及，哪儿还能交得起赋税啊？
另外，其实南宋建国以后财政上就一直入不敷出，之所以以前还能维持，是因为有当初徽宗赵佶留下的江南道银顶着。可是这次金军横扫江南，几乎所有的大城市都沦陷了，而赵构当时逃命还来不及，国库里的金银又能带走多少？至于铜钱和粮食布帛则更是丢了个精光
虽然岳家军等东军各部抢回来了一小部分，但赵构很清楚他们是不可能吐出来的，而且自己还得对将士们大加赏赐，那钱从哪儿来呢？最后赵构无奈之下，不得不采纳了某位大臣的意见，将不少属于国家的土地等资产卖给私人，才使财政暂时免于崩溃，但这终究不是长久之计。在这种情况下，如果对金作战持续太久，只怕南宋就要穷死了（这也是职业兵制的弱点，国家强盛时还好，一出问题连仗都没法打了，义务兵制的适应性更强，尤其是在经济不景气的情况下。），必须尽快将军队腾出来清剿各地盗匪、恢复南方经济。
而这段时间虽然捷报频传，却并不能掩盖军队系统混乱不堪的现实，当初北宋的军队体系现在已经全被打散，而新的体系还没建立起来，这也严重影响到了宋军的战斗力，同样必须尽快解决。
五月下旬，岳飞亲自押解战俘前往越州，生平第一次觐见皇帝赵构。在此之前，岳飞先去拜见了上司张俊，张俊通知岳飞朝廷要派他镇守江南东路的饶州（今江西波阳县），岳飞认为这样不妥而上奏：“建康为要害之地，宜选兵固守，仍益兵守淮，拱护腹心。”，赵构采纳了他的意见。
副相范宗尹向赵构推荐岳飞任通州镇抚使兼知泰州，但岳飞认为管辖区域太小，又是文官，对他练兵有害无利，不愿接受。赵构也没怎么生气，当即改命为淮南东路一重难任使，淮南东路目前尚在金人控制之下，岳飞见有仗可打，便高兴地接受了任命。
建炎四年六月，南宋进行了第一次军队改制，兵力最多的张俊所部组建为“神武右军”；刘光世部为“神武左军”；韩世忠所部组建为“神武前军”；新生力量“岳家军”被命名为“神武副军”，但由于资历尚浅，岳飞到只是一个统制官，比那三位官阶低不少。
这时，被金军围攻了大半年的楚州终于成功突围出了几名军使，向朝廷泣求援军。赵构这才知道楚州居然到现在还未陷落，不由大为惊喜，但听完使者的叙述后，又不禁为楚州军民的忠勇而泣涕
楚州守将名叫赵立，是徐州人，在两年前他还不过是一个看守城门的小官。建炎三年正月，金左副元帅粘罕率军包围徐州。徐州知州王复率军民力战，因外援不至，不久城破。王复端坐州衙而没有逃生，他对粘罕说：“是我坚持死守，和僚吏百姓无关，你杀我一人好了。”
粘罕佩服他的胆略，想要招降他，被王复严词拒绝，粘罕便将王复一家老少全部处死。而徐州的百姓也没能免难，金军在徐州城内烧杀淫掠、无恶不作，也许没有将徐州人杀得一个不剩，就是他们口中的“仁慈”
赵立在城破时与敌展开了激烈的巷战，虽然冲出了徐州城，却因为众寡不敌被金军击倒在地，金兵看到他连呼吸都没有了，就没有再管他。半夜天上下起小雨，将昏迷过去的赵立冻醒。赵立设法杀死看守城门（看守城门还真是高风险）的金兵，潜入城内找到王复的尸身埋了起来，然后暗结乡兵谋划夺回徐州。
三月金军北归，徐州只留下伪军驻守，赵立便召集宋军散兵与各地义民，乘敌不备夺回了徐州。赵立的亲人几乎全部在金军攻占徐州前后殉难，只有叔父赵扆幸存，但当他违犯军令之时，赵立毫不徇私，“叔父违犯军法，若不惩治何以服众！”，立即将他斩，士卒一片肃然，这支乌合之众也由此开始具备了基本的纪律性。南宋小朝廷便顺水推舟，授予赵立忠翊郎、权知徐州事的官职。赵立虽然没读过书，却展现出行政方面的杰出才能，在很短的时间就令徐州恢复了秩序。