显庆元年(656)正月，唐高宗任命于志宁兼太子太傅，特设太子宾客，由韩瑗、来济、许敬宗兼任，让他们共同辅佐太子。这实际上是限制反对派活动，提高支持者地位的一种尝试。但是，反对派不肯继续退却。为了防止大权旁落，他们开始重整旗鼓，伺机反扑。
显庆元年十二月，韩瑗上疏，为褚遂良叫苦喊冤：
伏见诏书以褚遂良为潭州都督，臣夙夜思之，诚为未可。遂良运偶升平，道昭前烈，束发从宦，方淹累稔。趋侍陛下，俄历岁年，不闻涓滴之愆，常睹勤劳之效。竭忠诚于早岁，罄直道于兹年。体国忘家，捐身徇物。风霜其操，铁石其心。诚可重于皇明，讵专方于曩昔。且先帝纳之于帷幄，寄之以心膂，德逾水石，义冠舟车，公家之利，言无不可。及缠悲四海，遏密八音，竭忠国家，亲承顾托，一德无二，千里懔然。此不待臣言，陛下备知之矣；臣尝有此心，未敢闻奏。且万姓失业，旰食忘劳；一物不安，纳隍轸虑，在于微细，宁德过差。况社稷之旧臣，陛下之贤佐，无闻罪状，斥去朝廷，内外田旷黎，咸嗟举措。臣闻晋武弘裕，不贻刘毅之诛；汉祖深仁，无恚周昌之直。而遂良被迁，已经寒暑，违忤陛下，其罚塞焉。伏愿缅鉴无辜，稍宽非罪，俯矜微款，以顺人情。