这段时间以来，高怀远停止了到他府上走动，显然也已经倒向了赵昀那边，虽然还会时常给他送一些芙蓉膏之类的礼物，但是以前的那种三天两头拜见他的情况已经不复存在了，史弥远有心想将高怀远招至府中警告一下，但是考虑到他也正在想法赶高怀远出京，于是便也断了这个念头，这些日子他自己也更加深入简出了起来，整日除了在府中听一些有关人等对朝政的汇报，看些地方的奏章之外，就只剩下抱着烟枪抽烟泡了。
不过史弥远忽然想起来一件事，现在他越来越离不开这种芙蓉膏了，即使半天不抽，也难受的要死，只要抽上一口之后，便会觉得十分舒服，精神肉体都十分放松，这让他终于开始感觉到了不安。
于是他便又请了几个御医，为他诊治身体，并且让他们看看这种芙蓉膏到底是不是毒药，但是这些个御医没见过这东西，也说不出来个所以然，虽然有御医认定此物之中有米囊花的成分，但是这个时代毕竟医术方面对于罂粟的成分还不确定，更不可能知道它的危害，只是知道此物也是用来止咳、止泻、止痛的药物，故此鼓捣半天结论还是没事！
史弥远虽然对芙蓉膏放心下来了，但是却又有了一种担心，眼下他吸的这种芙蓉膏，都是高怀远一手提供给他的，而高怀远只说这种东西乃是海外藩商带来的东西，却一直没说得自何人之手，假如将高怀远赶出临安的话，以后岂不断了他的粮了吗？现在史弥远已经彻底离不开这种东西了，于是便派人去找高怀远，向高怀远打听何处还能购得此物。
结果高怀远的回答很让他沮丧，高怀远对派去的人说，此物乃是一个藩商从很远的地方携来，具体地点他也不知道，只是每个月在泉州会有人给他送来一些，要是史弥远想要知道出处的话，请史弥远等一两个月之后，待他查问过手下之后，再做答复。
史弥远无奈之下，不敢轻易断了这条线，生怕没了这东西他没法过日子，于是只得将胡榘递给他的派高怀远到利州路为官的奏折给暂且压了下来，等着高怀远告知他何地能购得此物之后再说此事，于是便将支走高怀远的事情暂时给拖了下来。
不过史弥远还是不太放心高怀远，指使在殿前司之中的手下时刻监控殿前司诸军的动向，生怕高怀远这段时间突然间发难于他，并且史无前例的将方书达招入相府之中，温言安抚了一番，表示他对方书达的信任云云。
高怀远当晚便得知了方书达被招入相府的事情，于是立即派人请方书达过府一叙，方书达也如约赶到了高怀远的府
…。。