唐玄宗询问吏部，杨慎矜事先得到李林甫的嘱咐，不敢违背李林甫，按照他的要求上奏，说的与御史台的一致。
两个管官的部门，都认为卢绚有问题，唐玄宗只得让李林甫处理。李林甫便将卢绚降职为兴德郡太守，卢绚思想有抵触，向丞相兼兵部尚书李适之倾诉。李适之反对李林甫的做法，让卢绚上书。
唐玄宗将卢绚的奏折转给李林甫，李林甫将他放置一边，过了三个月后，再向唐玄宗上奏，说卢绚担任兴德太守的圣旨已经下了，不好更改，可以让卢绚先到兴德郡锻炼一段时间，政绩突出再调回朝廷重用。
唐玄宗准奏，卢绚接到圣旨一看，竟是三个多月之前的，一下子慌了，立即准备，匆匆忙忙的去了兴德郡。
就在李林甫为巩固相位不断打压有才能的人士的时候，边疆的战事也是一个胜利，接着一个胜利。皇甫惟明攻下洪济城之后，稳定了吐蕃边界的局势，吐蕃赞普尺带珠丹虽然想在大唐边境制造麻烦，但没有桥头堡，从吐蕃内地集结军队，距离太远，长途奔袭，军队疲惫不堪，失去了锐气，很难做到兵不血刃。
进攻了几次，没有占到便宜，倒是留下了一大批俘虏。天宝四年腊月，皇甫惟明进京献俘，唐玄宗对他进行了封赏，并于天宝五年正月十三任命他为鸿胪卿1。此时他身兼河西、陇右节度使，现在又兼任鸿胪卿，有些飘飘然。
作为主管朝廷典礼的主官，他大部分时间都在边关，其实只是挂个名而已。以前在朝中做官的时候，皇甫惟明与太子的关系很好，现在进了京城，少不了要去拜望一下。
进了太子府，太子李亨亲自出门迎接，他今天还特地打扮了一番。头戴紫金冠2，身穿衮衣3，俊秀颜面上挂上微笑。
皇甫惟明立即跪下：“皇甫惟明参见太子殿下。”李亨一把将他扶起来说道：“皇甫将军，打败了吐蕃，为朝廷立了大功，皇上称赞不已。”
皇甫惟明说道：“我们在边疆作战，全仗皇上和太子殿下的威风，取得胜利。是皇上和太子的指导有方。”
李亨已经把皇甫惟明当作了亲信，对他说道：“皇上年事已高，在皇宫呆的时间多，到宣政殿去的时候少了。”
皇甫惟明是个直性子，他对太子说道：“皇上一天老似一天，精力不如从前了，太子将来是要接管朝廷的呀。臣在朝野上听到一些议论，现在李林甫借着皇上对他的宠信，在朝廷一手摭天。如果让他这样乱搞一通，就把朝廷的风气都搞坏了，将来要治理起来，会困难重重。”
李亨说道：“本宫是很担心，但李林甫会笼络人心，有一帮人支持，除了皇上之外，在朝廷中，将任何人都不放在眼里。”
皇甫惟明说道：“太子应该劝说皇上，以社稷为重。”李亨说道：“本宫对李林甫的专权，心中也十分不满，但怕引起父皇的猜疑，一直持忍耐态度。现在你也这样说，我的确非常担心。”
皇甫惟明说道：“太子不应该容忍李林甫乱来，那样要出事的。”李亨说道：“为了大唐的社稷江山长久兴旺，皇甫元帅战功显赫，如果以边防将军的名义，向父皇上书。从侧面劝说，效果会好一些。”皇甫惟明说道：“太子是储君，在宫中与皇上见面的机会多，何不直接上奏？”
李亨说道：“李林甫专权，朝中大臣皆知，但我的身份特殊，不便直接向皇上上奏。朝中的其他大臣都怕他，不敢上书，怕惹火烧身。现在他权力熏天，不仅是同中书门下平章事，还身兼中书令和尚书右仆射两个要职，而且兼任吏部尚书。既管决策又管执行，还管官员任命。加上他行事任意，专权枉法，朝中大臣如果不能将他扳倒，马上就会引来杀身之祸。不好办哪？”
正在这时刑部尚书韦坚来了，他是太子的内兄，元宵节之前看望一下妹妹也说得过去。一进门就听到他们讨论朝廷中的事，插嘴说道：“皇上并非不知道李林甫的专权，但是李林甫非常听话，把后宫弄得舒舒适适，他舍不得换人。三年前，安禄山告了一状，他着实害怕了一阵子。最后皇上还是舍不得他，马虎处理一下了事。”
太子说道：“三年前和现在不一样了，安禄山与李林甫的关系也好了，他们都是为了自己的利益。”他停顿了一下说道：“不谈政事，明天就是元宵节，皇甫将军就在府上住一夜，观灯之后再走。”
元宵节晚上，太子与韦坚、皇甫惟明一起观灯。中途太子离开，韦坚便与皇甫惟明一起，在一僻静之处讨论朝庭之事。
被杨慎矜发现，跟踪到旁边偷听。韦坚列出了李林甫专权的十大罪状，让皇甫惟明到唐玄宗面前上奏。
杨慎矜也是有野心的人，这段时间，唐玄宗很信任他，对他经常诏见，这件事对他没有利益冲突，也没放在心上。
皇甫惟明离京之时，向唐玄宗告辞，临行时上了一份奏折，列出李林甫专权十大罪状，请求***林甫，并推荐刑部尚书韦坚做宰相，认为他的才能在李林甫之上。韦坚是太子李亨的内兄，与皇甫惟明的关系密切，某种程度上说，是有嫌疑的。而他这样做也是有私心的，如果推荐杨慎矜，唐玄宗或许会考虑。
拿着皇甫惟明的奏折，唐玄宗久久不能平静。他是一个非常睿智的皇帝，当然知道李林甫的一些作法过了头。
尚书省