赵构退位后，他声称不再过问政府事务，而是实际上干预了一些政治事务。一天，他去灵隐寺冷泉阁喝茶。一个步行的人很好地照顾了他。他看着行者说:“我看你不像行者。”行者哭告道:“我是县令，因得罪了县令，被诬陷，罚为庶人。为了谋生，你必须来这里投票给亲戚，做这种卑微的工作。”赵构当即说:“我明天就替你向皇上解释。”回到皇宫的后果已经告诉皇帝了，他应该复职。几天后，他去了冷泉馆，发现猴子还活着。当他回到皇宫时，他看起来对宴会很生气。孝宗小心翼翼地问赵构他为什么生气。赵构说:“我老了，谁也不听话。”几天前我告诉过你那个步行者。为什么我没有处理它？”孝宗回答说:“我昨天告诉总理了。”当首相检查的时候，他说这个人很贪婪，并且违反了法律。避免他的死亡是宽大的。要恢复他的职务实在是不可能的。”

赵构不理他，只说:“我答应了他向你说情。”孝宗只好去见丞相，说:“陛下发了脾气。即使那个人犯了谋杀罪，你也必须恢复他的职务。”首相不得不这么做。

赵构虽然政治上神志不清，但他擅长书法，擅长草书，笔法洒脱，自然流畅，颇具晋代风韵。陶在《明史会》中说:“高草书写得真好，样样都好。”他的书法影响并影响了南宋，后世也沿袭了他的书迹。

惜春十四年十月九日(1187年十一月九日)，赵构病死在临安德寿宫，享年81岁，谥号为圣神武文帝小闲，寺名高宗。

赵构死后，棺木直到惜春十六年(1189年)三月丙寅日才下葬，葬于绍兴府惠济县永思陵。宋光宗邵熙二年(1191)，谥号为文昭仁小闲，被中兴封为德圣神武。