胡善祥并非没有努力经营与朱瞻基的婚姻。她为朱瞻基生下两个女儿，在普通人家，女儿也是心头宝，但在皇家，没有儿子成了她天大的短板。皇帝需要儿子继承皇位，而胡善祥身体孱弱、常年多病，这两点成了他人攻击她的理由。朱瞻基本就很少去她那里，夫妻感情日益淡薄。那个年代，没有儿子的黑锅常由女人背，其实这不能全怪胡善祥。宣德二年，孙贵妃生下皇长子朱祁镇，这一事件将本就摇摇欲坠的胡善祥推向了绝境。朱瞻基有了儿子，便有了换后的底气，开始盘算着以皇后无子多病为由，换掉胡善祥，让孙贵妃上位。朱瞻基先与大臣们商议，摆出皇后的 “问题” 表明想换人。张辅、蹇义、夏原吉等老臣反对，称皇后无过失，废后是大事，不可乱来。朱瞻基碰了壁，脸色难看。但他并未死心，又找杨士奇等人单独谈。杨士奇聪明，看出皇帝决心，便出了个折中的主意，让胡皇后主动辞位，这样皇帝不用背 “废后” 恶名，胡皇后也能体面退场。可实际上，所有委屈都压在了胡善祥一人身上。胡善祥温顺不争、逆来顺受，她明白丈夫已不爱她，又无儿子，继续占着后位只会招人厌烦，于是上表请辞。宣德三年，胡善祥被废，搬出坤宁宫，住进长安宫，获 “静慈仙师” 称号，孙贵妃成了孙皇后。此事一出，天下人都为胡善祥难过，史书用 “天下怜之” 形容。满朝大臣无人说她不好，百姓听了也摇头。可见她平日做人到位，只是同情无法改变她的处境。胡善祥被废后日子能勉强维持，全靠婆婆张太后护着。张太后喜欢胡善祥，看不上孙皇后的做派，常把胡善祥接到清宁宫吃饭聊天。内廷宴会时，还故意让胡善祥坐在孙皇后前面，孙皇后虽憋屈但不敢吭声。张太后此举是给胡善祥撑腰，也变相打了儿子的脸。胡善祥的人品得到了挑剔婆婆的认可，可惜换不来朱瞻基的心。再多尊重也填补不了丈夫的冷落。史书未详细记载她在长安宫的日子，一个被废的皇后，无丈夫疼爱、无儿子依靠，日子可想而知。她只能靠婆婆偶尔照拂维持体面。朱瞻基后来后悔，称废后是 “朕少年事”，可后悔归后悔，他没给胡善祥恢复名分。因孙皇后还在，朱祁镇已立为太子，后宫和前朝关系已定，他不敢再折腾，胡善祥只能在冷清的长安宫熬日子。真正让胡善祥崩溃的是张太后的死。正统七年，张太后去世，胡善祥哭得撕心裂肺，她哭的不仅是婆婆，更是自己最后一把保护伞。张太后一死，皇宫再无人真心护着她，孙皇后掌权，她处境更艰难。果然，第二年，不到四十岁的胡善祥便去世了。