更加令趙佶失望的是郭藥師竟以不忘舊主子才能忠于新主子為借口，始終不肯改變常勝軍的遼國裝束。

趙云樺也知政局有變，多次上燕山府巡視，郭藥師非常狡猾，與王安中竄通連成了一氣，安排了種種假象，聰慧過人的趙云樺竟然找不出他的任何把柄，無法將他定罪。當趙云樺質(zhì)問郭藥師常勝軍為何不穿漢軍服飾，郭藥師卻奴顏婢膝地笑說他也是遼國的駙馬，也理應(yīng)以天祚帝為尊，不穿漢服，也不能否定他對大宋的忠心。趙云樺卻認為郭藥師太過狡詐，立即上書朝廷，否認了常勝軍對朝廷的忠誠。