他寵妾滅妻都懶得遮掩了，也不顧及名聲和朝臣的彈劾。他一貫揚言要休了嫡妻扶正小妾，只是礙于晉國公夫人的娘家是徐家在朝堂上的助力，徐家不敢得罪，這才休不成。徐家家宅不寧，外人看笑話，圣上也很失望。鬧了那些年，身為上柱國大將軍的晉國公不知被彈劾了多少次，官職都不大穩(wěn)當。他滿不在乎，將手里的兵權分給了幾個弟弟一人握著一點，自己就擔個虛名。