“陛下已登大宝，社稷有主，已足伐敌之谋。而勤王之师日集，彼方谓吾素弱，宜乘其怠击之。黄潜善、汪伯彦辈不能承圣意恢复，奉车驾日益南，恐不足系中原之望。臣愿陛下乘敌穴未固，亲率六军北渡，则将士作气，中原可复。”
赵构一看大怒，你个小兵卒子，说话不经大脑，家国大事是你能议论的吗？于是剥夺了岳飞的兵权。
岳飞这次被一撸到底，连去背行军锅的资格都没有，被革除军职、军籍。
八月，岳飞渡河北上，奔赴抗金前线，此时，“声满河朔”的河北西路招抚使张所正在大名府多方收揽英才抗金。张所知悉岳飞的遭遇后，便留他“帐前使唤”。这是岳飞第四次投军。
岳飞见识非凡、武艺高超，张所破格提拔他。“以白身借补修武郎”（第四十阶），任河北招抚使司中军统领，后又升为统制，隶属于名将王彦部下。这时候岳飞的官阶大致是准将，职务（差遣）是旅长。
张所因主张抗金，早前曾弹劾黄潜善而遭贬谪发配岭南，最终死于贬途。被张所派遣去收复卫州（河南卫辉）等地的王彦、岳飞一部，随着张所被贬及河北西路招抚司的撤销而成为孤军。
金兵势大，王彦趋于保守，岳飞擅自率部发起进攻，击败金军攻占新乡县。金军误以为王彦、岳飞部是宋军主力（实只七千余人），调集各路金军围攻，岳飞率部死战突围而出。
王彦因此与岳飞不和，不再同意与岳飞合兵一处，岳飞遂独自率部战斗。所以，岳飞从小就有些不听上级号令，在军中树敌颇多。
此时宗泽任东京留守司留守，岳飞率部来投，再次归入宗泽帐下，任东京留守司统制。
建炎二年（1128年），岳飞此时二十六岁，七月初一，连续二十四次上书北伐而未获赵构支持的老将宗泽出师未捷身先死，杜充继任留守，宗泽策划的北伐夭折。
七月十五日，岳飞按照宗泽生前部署率部进驻河南府（洛阳）。
八月，金军大举进攻，妄图攻取陕西。岳飞所部首当其冲，与金军大战于虎牢关，击退金军，升武功郎。
此后多次转战，到建炎三年时他因军功先后补武经大夫、武略大夫借英州刺史、武德大夫英州刺史（三十五阶升至第十九阶）。
宋朝的刺史是从五品的武臣寄禄官（代表官员身份地位的虚衔），无职掌，无定员，级别大致是副厅级+。武官官阶方面，大致是中将，虽然职官只是旅长，但是军衔很高。
建炎三年（1129），金军在岳飞这儿碰到硬钉子，于是转变攻击方向。
一月，徐州、淮阳、泗州陷落，二月，天长军（安徽天长）被攻陷。赵构慌忙逃至杭州，五月移驾建康（南京），不久又转回杭州。六月，杜充以勤王为名放弃开封，岳飞苦谏无果，只得随军南撤。
秋，金军多路南侵，其中完颜兀术（金兀术）领军直接进攻江南，妄图一举灭亡南宋。十一月，金军渡江后，杜充派都统制陈淬率岳飞、戚方等将官统兵二万奔赴马家渡，又派王燮的一万三千人策应。
二十日，陈淬率军力战，岳飞独率右军与金军对阵，然而王燮却不战而逃，陈淬战死，诸将皆溃，岳飞苦战无援，二十二日整军退往建康东北的钟山。二十三日，杜充放弃建康逃跑，继而降金。
金兀术渡江后冲向杭州，各路宋军纷纷溃败，赵构坐海船逃至海上躲避，据说因此受惊吓造成了不举。当然赵构不会对李寺说起。
马家渡之战后岳飞决定脱离杜充，独自领军在金军后方发起进攻，多次给予金军重击，收复多处失地。
建炎四年（1130）二月，金军北撤，受到岳家军截击，损失惨重。五月，岳家军收复建康，俘获万户、千户以下千余名金兵，这是岳家军首次辉煌胜利。
四月任御营使司统制（隶属张俊），收复建康（南京）后，岳飞押送俘虏面圣，这是君臣俩第一次相见，补武功大夫（第十五阶）、昌州防御使，通、泰州（南通、泰州）镇抚使兼泰州知州。
宋朝诸州观察使、防御使同刺史一样，是武臣的寄禄官，为武将兼衔。观察使在马步军正副都指挥使之下，防御使在马步军都虞侯之下。
防御使官阶高于团练使，水浒中出现过很多团练使，为宋朝各地州府的常任武官，大致是武警支队长一角，，低于观察使。
不过，寄禄官又分遥郡和正任两种：“凡未落阶官者为遥郡，除落阶官者为正任。”
遥郡也就是指并未赴本州上任者（虚衔），正任则是赴本州上任者（实衔）。
宋朝的镇抚使是由中央委派负责一个地区或几个州府军事防务的临时设官。负责辖区军事防务兼理民政、财政等事务，这是一个有实权的职务。
岳飞此时已经成长为一个方面大员，既是挂上将衔的野战军军长，虽还是旅长职务，可部众超过一个军，又是两个军分区司令员，而且还兼任地方上的市委书记兼市长，全是实实在在的军政一把手。
这一年，岳飞不到三十岁，只有二十八。
绍兴元年（1131年）七月，宋廷将岳家军的军号定名为神武右副军，任命岳飞为统制。 十月，授亲卫大夫、建州观察使。十一月，岳家军改号神武副军，岳飞升为都统制，岳家军正式成军。
岳飞先后任武功大夫昌州防御使、神武右副军统制；
亲卫大夫建州观察使、神武副军都统制、权知潭州兼权荆湖东路安抚都总管；
中卫大夫、武安军承宣使、神武副军都统制；
镇南军承宣使、神武副军都统制、江南西路沿江制置使、江南西路舒蕲州制置使（由第十五阶升至第九阶）。
宣抚使、安抚使为诸路灾伤及用兵的特遣使臣，制置使是宋朝边疆地区临时性的军事统帅。宣抚使、制置使都是方面大员。
此时，岳元帅已快封神，既是野战集团军统兵大将，又是战区司令。
绍兴四年，三十三岁的岳飞先后担任神武后军都统制（其余与上年同）兼荆南鄂岳黄复州汉阳军德安府制置使、清远军节度使、湖北路荆襄潭州制置使。八月二十五日，朝廷封岳飞为武昌县开国子爵。
宋以前的节度使权力很大，辖区内的军、政、财权由节度使独揽，这也造成了唐朝的安史之乱和晚唐时的军阀割据，最终致唐灭亡。
赵匡胤本身就是由军阀发动政变上位的，自然是极力采取措施削弱节度使，因而，宋朝的节度使只是一种荣誉性的虚衔，对武将来说是晋升的“极致”，多者可带两三镇节度使。
岳飞这个节度使只是面子上更好看，实权还是在都统制（集团军司令）和制置使（省军区司令）。
岳飞此时身兼多职，管辖的范围也扩大了许多，而且开始封爵。
绍兴五年，岳飞先后担任镇宁崇信军节度使、神武后军都统制、荆湖南北襄阳府路蕲黄州制置使；授检校少保，镇宁、崇信军节度使、荆湖南北襄阳府路招讨使兼营田使；武胜、定国军节度使，湖北、京西路宣抚副使兼营田使。
二月初二日晋封武昌郡开国侯。九月十三日又晋封武昌郡开国公。
伴随着岳飞官职爵位的上升，岳家军取得了一个又一个伟大胜利。此时岳飞已经封公爵，再往上就是郡王、王，而异姓王基本上都是死后追赠。