唐玄宗有次在勤政楼上欣赏音乐,隔着垂帘,看见兵部侍郎卢绚骑马走过,目送良久,赞叹卢绚气宇不凡,含蓄深厚。李林甫的耳目及时将这一消息传送给李林甫。卢绚不是李林甫的人,如果皇上看中加以擢升,则已是兵部侍郎的卢绚很容易加以“同中书门下平章事”的头衔,成为宰相。李林甫的原则是:凡不属他所引进的官员,一律加以排斥,因此他一定要把卢绚晋升之路堵死。皇帝那里不好公然强阻,便从卢绚这边着手。

李林甫召见了卢绚的子弟等,对他们说,你们的尊长(卢绚)声望很好,如今正值广州、交州(均为岭南边远地区)等地急需贤良人才去治理。皇上正考虑派卢侍郎去。当时广州、交州常是贬官、流犯的安置之所,路途遥远,条件恶劣,为官者视为畏途。李林甫在进行心理战后,又以“关怀”的语气说,如不愿去广、交,另一个选择是转任太子宾客、太子詹事,分管东都之事,就是要从实权很大的侍郎变为闲散官员。李林甫要他们考虑在两者之间进行选择卢绚上了李林甫的圈套,他宁愿在朝当闲散官员,也不愿去岭南。李林甫为了掩人耳目,避免朝臣惊诧议论,对卢绚的排斥分两步走:第一步先调任他为华州刺史;第二步又称卢绚身体欠佳,州政不理转任他为太子詹事,使之远离宰相之位,不可能再对他构成威胁。