尽管如此，赵旉虽然在战略分析与决策上已经显示出极高的天赋，但要说到政治斗争的伎俩，和那些官场上混迹多年的老油条们相比，还差得很远。只要暗中串联，耐心渗透，他们并不是没有机会。
然而，赵旉身边云集了一批当世杰出的人才，还有在外人看来神秘莫测的内卫系统，再加上卫王府相较大宋其他的官府而言极高的工作效率，使得他们不敢轻易下手，万一被赵旉过早觉，那他们就再也没有机会了。
但士大夫阶层数百年的积淀不是假的，其中不乏一些老jian巨滑之辈，他们很快就现了卫军管理模式中的漏洞，那就是决策权太过集中了。赵旉当初建立卫军时，为了防止卫军走上旧式军队军阀化的老路，虽然在执行权上尽量下放，对于决策权却抓得很紧。即使他后来现，一旦自己生病或是外出，卫王府的运转就会出现大问题，也只是让虞允文在他不在时有限地代其决策。
之所以只给有限的授权，倒不是由于赵旉像历史上的那些“圣君”一样不放心臣子，而是因为在赵旉看来，虞允文的才能虽然在自己之上，可是他毕竟是在这个时代长大成*人的，甚至可以说他完全就是一个符合儒家道德典范的谦谦君子，尽管自己已经作了很大的努力令其有所改变，但两人的思想路线还是多少有些分歧的，一旦授权过大，赵旉制定的国策便很可能遭到破坏。
不过虽然没有得到足够的权限，由于事关国运的重大决策并不常见，以虞允文得到的授权，也完全可以将卫王府与卫军的各项运作打理得井井有条。即使虞允文也遇到变故，赵旉的幕僚们应付一下日常事务还是没有问题的。可是这次赵旉离开大宋实在太久，这就出了问题，因为看似完美的虞允文，终于被那伙人找出了一个要命的弱点
其实赵旉也不是没想过设立一个机构以分担自己身上背负的重任，但是现在改革才开始没几年，尚未培养起足够数量的既得利益者，如果过早地推行上层民主，只会使改革很快偏离原有的方向。但赵旉还是太年轻了，思虑难免不周，他既然有这样的顾虑，就不该离开大宋那么久。也许是因为长久以来背负了太大的心理压力，赵旉来到广袤无边的西域之后，第一次从那种即使成年人都难以忍受的精神重负中解拖出来，确实有点乐不思蜀了
浏览着异域的风情，享受着在无边草原上策马狂奔的快感，无聊了还能调戏一下未成年的可爱萝莉（赵旉开始磨他的匕，“该死的作者，再乱写我捅死你”），还不用听爹娘的唠叨，赵旉这几个月里过得的确很开心，但若早知道会是这样的代价，恐怕他说什么也不会在国外如此拖沓了
虞允文是天下少有的大孝子，他的母亲此时已经亡故，但体弱多病的老父仍然健在，不过由于改革大计离不了他，虞允文这几年来难得回家一趟，尽不到人子的孝道，心中一直内疚万分。而赵旉的反对者们正是抓住了这一点，令虞允文陷入了巨大的痛苦之中。
虞允文的父亲虞祺是朝廷的御史，人品端方、清正廉洁，他当年因为儿子的缘故从川陕地区调入中枢，现在却已是大宋清流之中的重要人物。这足以看出虞祺的才能和人品，随着官职的提升，和清名的远播，虞祺与那些士大夫的上层人物交往日益频繁，而那些人中的大部分却都是赵旉改革的反对者。虞祺不是圣人，自己又本来就是士大夫阶层的一员，时间一长，思想不免受到了那些人的影响，而越来越与整个阶层趋同起来。
尽管如此，虞祺一开始对儿子积极参与的改革还是保持肯定态度的，毕竟百姓温饱、国库充裕、外战节节胜利的事实摆在那里，作为一个心怀百姓的士大夫楷模，虞祺对此还是十分赞许的。但随着改革的深入，在那些“友人”的提醒和暗示下，虞祺渐渐现改革似乎越来越针对他们这些士大夫，心中自然有些不满了。而虞允文的回答就更加令其恼火，听到儿子说那些政策是为了国家的长治久安，虞祺顿时有种被抽了耳光的感觉。打压排挤士大夫的政策“利国利民”，这不是等于在说他们这些士大夫们是“祸国殃民”的吗？
心中有气的虞祺在一开始只是不断对改革措施挑刺，这在无意中到倒反而帮了虞允文一把，使其修正了一些因为赵旉调查研究不够就想当然搞出来的政策，令赵旉的改革举措得到了更好的反响，民众之中反对改革的也日益减少。结果虞祺辛苦忙活一场，反倒帮了改革的大忙，在对自己无意中为百姓做了些实事而感到欣慰的同时，也愈地对这场一开始并不引人注意，如今却日益影响到整个大宋的改革不满起来。
虽然在这个时代，父母之命儿女是不敢有违的，但虞允文在二十来岁的时候就已经成为赵旉的老师，与其朝夕相处，后来又长期为其办事，在赵旉坚持不懈的努力下，不知不觉间已经受到了他相当大的影响，孝顺归孝顺，未必就会因私废公（尽管虞祺认为这“公”不过是“小公”）。
再加上虞允文自小性烈，本来虞祺不欲让其过早参加科举，就是为了消磨他的火气，没想到他的计划却被不知从哪儿得知虞允文存在的赵旉给破坏了，而且还上过早地执掌大权、甚至当上了丞相，地位的提高也对虞允文的心态多少有些影响，结果现在的他火气比当初离家时还大。
在这种情况下，虞允文虽然很孝顺，也未必会听从他父亲命令式的要求，如果不注意说话的语气和方式，弄不好反而会有反效果。于是，在某些别有用心的友人暗示下，虞祺想出了一条“妙计”，那就是对服侍其起居的下人借故找茬，将他们打走人，逼虞允文亲自服侍。
老头的戏演得很逼真，奈何赵旉走后，卫王府的公事全都压到了虞允文一人头上，对于家中出现的问题，他根本无暇顾及，只是让相府里的官家多费点心，找些能够让父亲满意的下人。这种情况是虞祺完全没有想到的，在那些不怀好意的“友人”反复调拨下，虞祺虽然一向了解儿子，却也开始怀疑虞允文如今的孝心，不由心生怨愤，再加上年事已高，结果这一气之下居然中风了
虞允文是至孝之人，当初母亲病故时他因为公务缠身而没能尽孝，结果竟成永别，这令他一直到现在都内疚万分。现在父亲竟然又因为自己未能尽孝而一病不起，虞允文心如刀割，很快也跟着病倒了。虽然虞允文身子强健，但正所谓“心病还须心药医”，急切之间很难痊愈。何况现在的虞允文只想终日陪伴父亲，以赎前罪，实在没有处理公务的心情，便向赵构递上了辞呈，然后陪着父亲一起返回了四川老家。
至于赵旉，现在一时间联系不上，虞允文只好等其归来后再向其致歉了，反正一般的公务没有他在，卫王府的官吏们也完全可以处理，只是没他在的时候完成得那么完美罢了。虞允文完全没有想到，他的离去使得卫王府的危机处理能力大幅度下降，而一个蓄谋已久的政治阴谋则刚好抓住这一时机，随即如疾风骤雨般展开