几天后，一封信被送到了樊子盖手中。试想樊子盖这一连几日连连接到战败的报告，他此时该多么希望能收到一封捷报或是援军的信函。没想到他将这封信拆开一看，竟是杨玄感寄来的，短短一句话：“今欲废昏立明，愿勿拘小礼，自贻伊戚。”意思不难理解，杨玄感在劝樊子盖迷途知返，不要对杨广愚忠，因小失大。这实际上又是杨玄感的攻心计，他发现了樊子盖在洛阳的处境其实非常尴尬。樊子盖是洛阳城新调来的官员，城中旧有官员对他非常轻慢，樊子盖处处碰壁，也一直在寻找机会树立一下威信。杨玄感的这封信就像是一颗火星，一下让樊子盖心中积攒的怒气迸发了出来。他先处斩了出师不利的崔弘策，又以不恭罪要杀国子祭酒杨汪，幸亏杨汪苦苦哀求，磕首出血，才免去了死罪。这样一来，洛阳城中人人自危，樊子盖的树威之举没有起到任何团结作用，反而加剧了军、民、官的离心离德。无数人纷纷归附杨玄感，其中不乏高官子弟，比如右武侯大将军李子雄、韩擒虎的儿子韩世谔、观德王杨雄的儿子杨恭道、来护儿的儿子来渊、周罗睺的儿子周仲等。杨玄感是杨素的儿子，在这些人中间就像一个青年领袖，一场声势浩大的“官二代”反官运动就这样发生在了炀帝朝。这在整个中国历史上恐怕都不多见吧。
在辽东城下的隋炀帝现在终于回过神来，自辽东撤军后，他迅速派出援军来解洛阳之危。首先做出反应的是留守长安的卫文升，卫文升为了表明自己已抱定必死之心，竟然掘开了杨素的坟墓，把杨素的骸骨烧了。这种行为非常幼稚，死者为大，这是对死者的大不敬，更重要的是，这一举激起了杨玄感的怒火。杨玄感亲自领兵与卫文升展开决战，几日间大小数战，玄感亲自冲锋陷阵，大破卫文升，将卫文升两万步骑杀得只剩八千人。《隋书·杨玄感传》记载：“玄感骁勇多力，每战亲运长矛，身先士卒，喑呜叱咤，所当者莫不震慑。”当然，杨玄感也付出了惨重的代价，与卫文升北邙一战，弟弟杨玄挺中箭而亡。樊子盖趁火打劫，发兵进攻，杀死玄感所部数百人。卫文升平叛失败后，炀帝派来的另三路援军也到了，一路是武卫将军屈突通，一路是左翊卫大将军宇文述，一路是右骁卫大将军来护儿。这样一来，杨玄感的处境就变得非常尴尬，他身前有奄奄一息但依然无法完全打下来的洛阳，后方屈突通、宇文述、来护儿的大军越来越近，如果洛阳在隋朝援军渡过黄河之前还不能打下来，那么自己真的就如李密所言，要变成瓮中之鳖了。杨玄感赶紧去问李子雄有什么建议，李子雄告诉他：“只有分兵黄河，抵抗屈突通，为夺取洛阳争取时间。”这是杨玄感最为关键的一步，也是最后的机会，如果这一步走不好，很可能满盘皆输。
很可惜，这最后一步，杨玄感走得并不好。
命令一下，杨玄感焦急地等候着黄河对岸的消息，却发现自己的部队迟迟没有行进。原来，樊子盖料到了杨玄感会用围城打援之计，于是主动出击进攻杨玄感，使得杨玄感所部迟迟没有办法分出去向黄河进发，本想拖住屈突通的杨玄感，现在却被樊子盖拖在了洛阳城下。不日，屈突通兵渡黄河，与樊子盖、卫文升一起，对杨玄感展开两面夹击。玄感大败，洛阳之围遂解。我们不禁要问，起义失败的颓势，此时还有办法逆转吗？对于杨玄感来说，还有一条路可走，他想到了李密的中计，于是立刻挥军长安，准备攻克永丰仓，放粮赈济百姓，重振旗鼓。但我们不可否认的是，杨玄感此时已经处在一个极端被动的局面当中了。在往长安进军的途中，杨玄感经过了自己的故乡——弘农。他抬头看着弘农城郭，想起了自己的父亲杨素，想起自己前不久的峥嵘岁月，那些自己手持长矛、冲锋陷阵的日子，恐怕一去不复返了。驻足之间，几行热泪滚落下来。正在这时，杨玄感马前经过几个当地的百姓，百姓一抬头，认出了他是杨玄感，倒头就拜。杨玄感赶紧下马将他们扶起，这几个百姓见他一脸狼狈、衣甲残破，知道他是打了败仗，于是为他献计：“弘农此地，兵少粮多，城高墙厚，将军您又是弘农本地人，如能攻下此城，必定能一呼百应、东山再起。”本来垂头丧气的杨玄感好像突然又获得了一些勇气，仔细一想这些百姓说得也不无道理。沉吟之间，马后传来一声大喝：“不可！”众人惊愕地回头一看，是李密。李密说：“弘农纵然兵少，但绝非弹指可得的城池，您既然已经决定向西去占长安，那就应该速速带兵入潼关，如果我们在此地耽搁了时间，屈突通、宇文述的追兵须臾便至！我们的处境不就又与洛阳城下一模一样了吗？！”几人争论起来。或许是因为近乡情怯，杨玄感最终没有听从李密的建议，执意要先占领弘农。事情果然再一次被李密说中，弘农太守杨智积凭坚据守，杨玄感数战未能克城。不日，隋朝援军赶到，杨玄感再次大败。此时，已是秋风渐起的八月。杨玄感身边的随从和士兵所剩无几，他与弟弟杨积善率领十几名骑兵钻进了林