唐玄宗将李适之的辞呈递给李林甫说道：“适之辞相，给他一个闲职，接任者的人选问题，三省议定之后再报来。适之推荐希烈，他资历是够了，但能力不怎么样？慎矜不错，他负责吏部和御史台的工作，还兼顾户部以及收取朝廷租税等诸多的事务。所有的差事都做得很出色，可作为候选人之一。其他三品以上的官员，都可以提出来议一议。选人的面越宽越好，把真正能干的人选上来。”
李林甫说道：“一定按皇上的旨意办事，按程序由吏部推荐，三省议定之后立即上报皇上。”他知道杨慎矜很能干，能力在他之上，如果让他担任左相，自己的右相位置不一定保得住了，到不了三年，他便会取代他。要保住首席宰相的位置，就只有阻止他担任左相。
李林甫让杨慎矜推荐宰相人选，对他说道：“李适之辞去了宰相职位，他推荐陈希烈，我也十分赞同。皇上认为可以，但必须按程序来。你与吏部的官员议论一下，如果行，便报到三省审议。”
杨慎矜将吏部员外郎以上的官员如召集到一起，他说道：“李丞相的意见，推荐陈希烈作为丞相的人选，你们认为如何？”吏部郎中李麟说道：“要讲能力，我认为侍郎很合适，陈希烈，能力不咱的，迂腐得很，放在那个位置上不合适。”杨慎矜说道：“你别开玩笑了，我就安安稳稳的当差吧，其他的不用想，也不敢想。”李麟说道：“我不是拍你的马屁，说的是实话。如果从社稷的角度出发，你就当仁不让。”杨慎矜说道：“首席宰相已经选定了人选，我敢争吗？除非不想当差了。”李麟说道：“说的也是，他一手遮天，除非把他顶下来。不然的话，你这个差事也干不长。从皇上对你的信任程度看，我敢说，皇上一定提到过你。”
杨慎矜说道：“我服服帖帖的，他也舍得一脚将我踢开。”李麟说道：“这你就不懂他的为人了，只要对他有威胁，一定要搬走。张倚搬走了，苗晋卿搬走了，卢绚搬走了，李适之又搬走了。陈希烈对他没威胁，所以上去了。”杨慎矜说道：“这些话就不要说了，是赞成还是反对，你给个态度。”李麟说道：“你硬不起来，还能说什么呢？按首席宰相的意见办好了。”
没有人提出不同意见。杨慎矜汇总后报告给李林甫，李林甫看后十分满意，签了字报到尚书省。
李林甫将尚书省和中书省的人招集到一起，拿出李适之的辞呈和吏部的推荐报告说道：“适之辞去左相，推荐希烈接任，皇上也有此意，要求三省给适之安排一个闲职，议定左相的候选人。吏部已经将正式人选报上来了。但左相一职很重要，必须德才兼备，我们的视野要放开一点，将更好的人挑选出来。吏部推荐希烈，他担任黄门侍郎已经有些年头了，工作兢兢业业，人缘很好，升任侍中是当然的人选。因此我在上面画了押，赞成这个推荐。但是挑选宰相是一件很重大的事情，面尽量宽一些，在坐的如果有更好的人选，也可以提出来，与希烈比一比，如果比他强，还可以更改，议定之后上报皇上。”
尚书左仆射裴宽说道：“适之丞相干了四年了，没有功劳也有苦劳，给他太子少保的头衔，非常合适。左相的人选，既然右丞相也举荐黄门侍郎，我同意让希烈接任。”中书舍人崔圆说道：“丞相推荐的人选，一定是最合适的人选，陈大人的资历深，人缘好，办事认真，当左相完全符合。”李林甫说道：“尚书省和中书省都同意希烈出任左相，已经议定，马上交到门下省审议。”
门下省的实际负责人陈希烈，与提案有直接关联。因此由刚到任的给事中韦见素主持审议，陈希烈是他的顶头上司，他不会也不敢提出不同意见。
三省的议事非常顺利，完全按李林甫的意志来。崔圆写好奏折，李林甫进宫向唐玄宗奏报：“启奏皇上，三省审议，一致认为陈希烈担任左相比较合适。杨慎矜也很好，能力是有的，但资历差一些，审议中一些人认为，他是隋朝皇帝杨广的嫡玄孙，做一般的大臣影响不大，但如果做丞相就不大合适。谨慎起见，不宜让他担任丞相这样关键的官职。”
唐玄宗说道：“隋朝已经灭亡了一百多年，建立唐朝的时候，慎矜的爷爷都没有出生，他现在是唐朝的臣子，怎会想到前朝？”李林甫说道：“一些大臣说，他的祖上曾经做过皇帝，而且是被唐朝推翻的。他的内心之中，总有一些仇恨的种子，一有机会，就会成长起来。如果形成气候，将是大唐的隐患，对大唐不利。”
唐玄宗对陈希烈并不满意，但三省已经议定，不好更改。如果上朝，在朝堂之上审议，他又不愿意。思量了一会说道：“这些都是猜测的，作不得数，慎矜能干，不过他还年轻，你要重点培养，不要纠缠那些陈旧之事。从另一方面，也说明了你们办事认真，既然三省的意见一致，就让翰林院拟旨。
天宝五年四月，李适之被任命这太子少师，陈希烈被任命为侍中、同中书门下平章事。陈希烈胆小怕事，始终听从李林甫的，从此正副宰相一个鼻子出气，没有杂音。唐玄宗得不到朝廷的实情，任由李林甫摆布。
李适之罢相后他仍然离不开酒，整天以酒为乐。作诗云：“避贤初罢相，乐圣且衔杯。为问门前客，今朝几个来？”
他自以为离开了宰相的位置，就脱离了政治斗