宋．王君玉《国老谈苑》卷二：“鲁宗道以孤直遇主公家之事（注：即执政），知无不为，每中书罢归私宅，别居一小斋，绘山水，题曰‘退思岩’，独游其间，虽家人罕接焉。”又宋．叶廷珪《海录碎事》卷十一“臣职”上“宰相”：“鲁宗道为执政，营一小室，画山水，退朝独坐，谓之‘退思岩’，虽妻子不得入。”

鲁宗道每逢朝事完毕，回到家中便独自坐在“退思岩”小室中，认真自我省察为政的言行得失。为防干扰，故家人也不许入内。后因用为自省检点之典。

《幼学琼林》卷三“宫室”：“退思岩，是鱼头参政退思时；知妄室，乃半山居士知妄处（注：宋．王安石自号半山居士，筑一室曰知妄。自为语录云：“知妄为妄，即妄是真；认妄为真，虽真亦妄。”）。”