岳飞虽然政治上一向不太敏感，但也知道这个重担是不能随便接下来的，无论是武将的嫉妒，还是文官的质疑，都可以令他死无葬身之地。但赵构同时表示，如果岳飞拒绝这一任命，便证明其信心不足，朝廷就不会让那么多军队留在河东冒险。再加上赵构许诺说，在其后的五年内，岳飞只要不犯大错，他便不会将其调离，给他足够的自由和空间，而且为给岳飞适应的时间，绍兴八年只需岳飞自负盈亏即可，无需向朝廷上缴税赋，岳飞最终还是硬着头皮接受了这一任命
虽然新制度一开始总会让人有些不适应，但岳飞是军政全才，麾下人才济济，应该不会有大的问题，而以他现在十多万人的强大军力，岳飞也无需畏惧来自河北与燕云金军的威胁。就算打不出去，保住河东总没问题，而如果金军倾国来攻，以致连岳飞都保不住河东，那反而是他们灭亡的日子到了，因为那样的话他们的后方可就全空了，大宋的强军如今可不仅仅只有岳家军，而且还可以走海路
文臣对此却普遍很担心，不是害怕岳飞守不住河东，而是担心他日后拥兵自重，甚至起兵作乱，可见宋代文官对于武将的猜忌真是深入骨髓。但赵旉却并不担心，不光是因为他相信岳飞的人品，而是由于朝廷目前直接掌握的实力，现在卫军已经建立了四个卫，实力至少也在岳家军的两倍以上，而且朝廷的人财物力就更非河东一地可比。赵构一向开明，如今随着不断的胜利，其信心也恢复了不少，再加上妃嫔们时不时地吹吹枕边风，他更是放心地将军事上的一切都交给赵旉处理，这等于是间接地给予了岳飞天大的信任。
不过赵旉并不想当出头鸟，而且秦桧这个心术不正的小人独揽相权，始终令其有些不安。于是，赵旉终于将虞允文放到中枢，担任参知政事，此后大宋朝廷便形成了以虞允文主外、秦桧主内的格局。他的想法是，先让虞允文出面将那些不怎么触动士大夫利益的改革推行下去，等到过两年自己长大，基础更为稳固的时候再对南宋的制度作根本性的变革。
谁知虞允文的个性嫉恶如仇，到中枢当上宰相没多久就受不了大宋目前**至极的官场，拦在改革之前先行整顿起吏治来了。但这应该是秦桧的职责，轮不到虞允文这个外相插手，结果不但没起到多大作用，反倒得罪了一大帮人，平空为其后的改革增添了很大的难度。
好在随着特区的进一步扩大，即使改革暂时不能推广到全国，也可以取得不错的成效，所以虞允文造成的不利影响倒还算不上致命，只是改革的进度还是不可避免地大大延后了。
赵旉痛定思痛，意识到自己犯下了想当然的错误，虞允文现在虽然年轻，但因为经受的历练远比历史上丰富得多，所以能力上的确完全可以当一个出色的宰相。然而，因为少掉了历史上在家尽孝的二十多年，虞允文目前心性上的修为与人际交往能力却远没有达到火候，协助赵旉理事时还不明显，主持大局时却显得不够圆滑世故。
可是，如今虞允文年届而立，性格再想矫正过来绝非易事，要知道历史上的他淬炼了那么多年，一样生过因怒当庭殴打金使的事情。赵旉最后只能让虞允文暂时延后经济政治方面的改革，等到特区第一批新式人才培养出来以后再说，到那时朝廷有了足够的人才储备，谁不听话换掉就是
不过此事也并非全无收获，虞允文只是揪出一些小喽罗，没收充公的家产居然就足以令朝廷财政宽松了不少，赵旉也由此意识到光靠高薪养廉的不切实际，没哪个朝代官员的俸禄比宋代更高了，可贪污的程度并没有什么差别，果然这招是只能防君子，不能防小人啊。
由于这一波折，原定的多项改革措施只有一样马上便颁布推行，那便是“改土归流”。自汉代以来，中国古代对于边疆少数民族地区，大多采取羁縻制度，即利用少数民族的旧贵族对其进行间接统治，到宋代改称为“土官制度”。
这种制度虽然可以大大降低朝廷对边疆地区的统治难度，但因为世袭土官在当地本有根基，所以那些地区事实上成为了独立王国。而且因为那些土官本来就是当地领，即使受到朝廷册封也会认为是理所当然的，而基本上不会有感恩之心。中央政权强盛时还好，一旦衰落下去，这些地区很可能就乘机自立了，对中国来说等于是“竹篮打水一场空”。
同时，土官制度与直接占领相比，虽然在短期内可以节省朝廷开支，但因为其长期享有税赋减免的特权，朝廷又因为面子的缘故而不时给予丰厚的赏赐，在经济上将一直得不偿失，而由于某些土官常怀谋叛之心，朝廷有时甚至是在出钱资助自己将来的敌人，世上最愚蠢的事莫过于此。
另外，土官本就是旧势力的代表，其中的绝大多数都固执地排斥从汉民那里传来的先进文化，不但阻挠了民族融合，而且对边疆民族地区摆脱贫穷落后的状况也极为不利。而且土官的权力太大，普遍目无法纪，其中鱼肉乡里的也不在少数，而朝廷却习惯于息事宁人，不但令受害者有冤难诉，也很自然对朝廷心寒，心中本就不强的国家认同感就更加淡薄了
所以，无论从哪个方面来看，“改土归流”都是势在必行，而且这一改革不会触犯士大夫们的利益，朝堂上的阻力较小。而由于统治中心南移，南宋朝廷对于岭南地区的控制力较北宋时期大大增强，再加上此时岭南地区实施土官制度的时间还不长，那些土官根基较浅，而且当地原住民也大多还未形成明确的民族认同，所以只要用人得当，朝廷派出的流官应该不难扎下根来。岭南的改革，将会为新制度积累足够的经验，时机成熟后，再到工作难度更大的北方诸蕃聚居区和大理等地推行，就要容易得多了。
其实早在赵旉让人提出此议之前，几乎历朝历代都有聪明人意识到了这一问题，不过当权者普遍怕麻烦，才一直未能实施。所以赵旉旧事重提后，这项改革很快就开始落实下来，虞允文的性格缺陷在这件事上却体现出了巨大的优越性。正是由于其雷厉风行的工作风格，这项在历史上磨磨蹭蹭花了几百年时间才在清雍正年间基本完成的改革，只过了三年时间在形式上就差不多全搞定了。
虽然其间也爆了一些不必要的摩擦，但长痛不如短痛，以后大宋境内各民族之间的交流不再有人为的桎梏，国家认同感迅得到了增强，而大宋的后方也更加安定繁荣。
而且在此期间赵旉还有了一个意外的收获，由于早有准备，赵旉曾经专门为开岭南培养了一批中下层官吏，虽然时间仓促，这些人的学识能力未必有多么出色，但比起大宋官场上那些只知捞钱与和稀泥、却不会做事的家伙总要强得多，而且他们还接受了当地语言的培训，这是很大的优势。
再加上虞允文对第一批流官的工作状况异常重视，进行了相当严格的审查，结果没过多久绝大部分科举出身的流官都被刷了下来，而代之以干得更好而得到提升的小吏。结果，在不知不觉中，岭南的大部分地盘都被赵旉一手培养出的人才所控制，这使得赵旉的改革在那些原本相对落后的民族地区反而进度极快，对坚定赵构的决心挥了不可估量的作用