然而不幸的是,当年解缙在朝中任官时桀骜不驯,因此得罪了很多人,而这些人现在还在朝中任官,之前早就想整整解缙了,只是因为其一直待在江西老家找不到机会而已,如今解缙自己撞枪口上了,那就别怪他们不客气了。于是解缙刚一离家,消息便传到了京城的政敌耳中,而当解缙刚一踏进京城,便立刻便受到了举报,罪名就是前面提的“不忠不孝”,本来建文帝听说解缙来了还很高兴,想见见这位大才子,但建文帝是一个特别尊崇礼法的人,一听解缙的这些行为,那还得了,发配边疆。就这样,解缙背着个不忠不孝的罪名被贬到了河州卫(今甘肃临夏西北)当了一名小吏,他的希望又破灭了。
这一次的贬黜对解缙影响巨大,他的人生信仰开始出现动摇,难道刚正不阿注定没有前途,只有阿谀奉承才能得到赏识吗?不管解缙有多么不情愿,塞外的黄沙终究磨去了他的心气。万般无奈下的解缙终于向现实弯腰了,他向当时深受建文帝信任的礼部侍郎董伦写了一份言辞恳切的书信,希望董伦能够帮助自己。董伦在接到解缙的书信后便向建文帝推荐了解缙,在董伦的推荐下建文帝便将解缙从河州卫给召了回来,并任命他为翰林待诏。就这样,解缙成了他早年最讨厌的那一类人,但解缙就是解缙,他发誓即使是趋炎附势,他也要成为其中的佼佼者。不过虽然解缙重新回到了京城,并且还担任了翰林待诏,重新回到了中央,比之前在河州卫的情况要好多了,但建文帝没有给他什么机会,终建文一朝解缙都没有得到重用,始终就是一个翰林待诏。