1954年汤恩伯死在日本，蒋介石知道后，淡淡的说："死了也好。"其实汤恩伯，可以说是蒋介石间接害死的。

退台之后，汤恩伯只剩一个"总统府战略顾问"的空头衔，既无兵权，也无实职。1953年，汤恩伯以胃病赴日就医，病情持续恶化。

1954年6月29日，在东京慈惠医科大学附属医院病逝，终年五十四岁。蒋介石得到消息，只发了封简短唁电，连追封都没有，与其他去世的国军将领所受礼遇差距悬殊。蒋介石对汤恩伯的彻底寒心，不是一夜之间的事，是一件一件叠出来的。

汤恩伯是浙江武义人，出身贫寒，能走上军旅这条路，全靠浙江绍兴人陈仪的提携。陈仪早年留学日本，后历任福建省主席、浙江省主席等要职，发现汤恩伯是个可造之材，自掏腰包保送汤恩伯赴日本陆军士官学校留学。

学成回国后又把外甥女许配给汤恩伯，两家结成姻亲，外界都说情同父子。凭着陈仪的引荐，汤恩伯顺利进入国民党军队体系，抗战期间升任第一战区司令长官，手握中原数十万兵马。

可汤恩伯在河南带兵期间军纪败坏，对地方横征暴敛，民间流传"水旱蝗汤"四字，把汤恩伯与水灾旱灾蝗灾并列，可见积怨之深。

"人可以犯错，但有些事一旦做了，就再没有退路。"1949年初，陈仪见大势已去，写了封亲笔信劝汤恩伯审时度势、率部起义。汤恩伯收到信，没有片刻犹豫，转身将信原件交给了蒋介石。

陈仪随即被捕，1950年6月在台北马场町被执行枪决，死时六十七岁。蒋介石虽利用了这份情报，私下却对陈诚等亲信说，陈仪对汤恩伯恩重如山，汤恩伯连恩师都能出卖，此人毫无底线，绝不可靠。

其实早在1947年5月，蒋介石对汤恩伯的失望便已种下。孟良崮一战，华东野战军将整编第七十四师重重合围，师长张灵甫四面求援。

汤恩伯身为主帅，麾下各部援军行动迟缓，相互推诿，整整三天三夜打不通一条通道。5月16日，整编七十四师全军覆没，张灵甫阵亡，三万余人被歼。消息传回南京，蒋介石当场以手杖敲击汤恩伯，下令撤职查办。

即便如此，1949年5月，蒋介石还是把最后的精锐押给了汤恩伯，命汤恩伯死守上海。汤恩伯拍胸脯保证至少坚守半年。解放军第三野战军5月12日发起进攻，不到二十天防线全面崩溃。

5月27日上海解放。撤退时，汤恩伯安排自己和亲信部队抢先登船，大批官兵被丢在吴淞口各码头，无船可撤，尽数成了俘虏。

更让蒋介石气到发抖的，是后来查出的一件事。上海战役开打之前，汤恩伯已暗中将一笔巨款转至日本，在东京郊外购置了一栋带有数十间房间的大宅。蒋介石得报后下令追缴，那笔款被强行要回。从那一刻起，汤恩伯在蒋介石心中，已是个死人。

到了日本，汤恩伯没了权，没了钱，台湾社会又因出卖陈仪一事对汤恩伯嗤之以鼻，旧部旧友大多疏远。1954年6月，汤恩伯死在东京病床上，身边亲属寥寥，身後冷清。