1935年12月9日清晨七时半，衡阳粤汉铁路株韶段宾馆，四十九岁的中央研究院总干事、中国地质学奠基人丁文江，因煤气中毒，昏迷不醒，二十多天后不幸去世。

丁文江此次赴湘，肩负两项使命。一是受铁道部部长顾孟馀委托，调查粤汉铁路沿线煤矿储量，为即将全线通车的铁路解决燃煤问题；二是受教育部部长王世杰之托，为清华大学勘查战时南迁校址。
12月2日深夜，丁文江自南京抵长沙，12月3日考察清华南迁校址，12月5日赴南岳衡山，12月7日抵达湘潭谭家山煤矿，谢绝雇轿，步行十五里前往矿山，亲自下到了倾角四十五度、斜深一百七十米的矿洞底，测量煤系倾角与厚度。出洞时内衣汗湿，在寒冬中仅烤干衣服便继续工作，当晚即伤风感冒。
12月8日返回衡阳，疲惫不堪，加之风雨交加、气温骤降，他在粤汉铁路局局长凌鸿勋家用晚餐后，回到路局宾馆，点燃壁炉，紧闭门窗，服下三片安眠药入睡。谁也没注意到，当晚衡阳风雨过猛，壁炉烟囱中的煤烟不能上升，倒灌室内。12月9日晨七时半，丁文江被人发现时早已面色紫红、呼吸急迫，显然是煤气中毒。
很不幸，也很讽刺，抢救过程本身成了一场医疗灾难。衡阳路局医生与仁济医院的外国医生缺乏煤气中毒救治经验，错误地施行了长达五小时半的强力揉推式人工呼吸，导致丁文江左胸第五肋骨骨折，两颗门牙脱落，种下了脓胸的祸根。
12月9日午后，丁文江被送入衡阳仁济医院。10日上午仍昏迷不醒，路局凌鸿勋等致电南京行政院秘书长翁文灏报告，翁氏立即乘飞机直飞衡阳探视。是晚，丁文江从昏迷中苏醒，喝了点稀饭，暂时脱离生命危险。11日病情好转，能饮牛乳并作简单应对。
12月15日，丁文江被转往长沙湘雅医院。在湘雅医院，因病人已能说话进食，医生疏于检查，未及时察觉肋骨骨折引发的脓胸。12月23日中午，丁文江强烈要求起床后，突然出现心脏衰退。12月24日，右上肢痉挛加剧、失语、大小便失禁。12月28日，湘雅外科主任顾仁施行手术，发现第五肋骨骨折，抽出五百五十公撮稀脓液，但为时已晚。29、30日热退，北平协和医院外科主任娄克思飞抵长沙会诊，诊断除煤气中毒、脓胸外，尚有脑血管出血或血栓形成的征象。
最终，1936年1月5日下午五时三十分，丁文江因多器官衰竭逝世。

关于丁文江之死，外界存在几种猜测与传言。
其一为"日本特务谋害说"，认为丁文江主持国防资源调查，为抗战作准备，成为日方眼中钉。但是煤气中毒发生地衡阳宾馆并无外人介入痕迹，无任何投毒或人为破坏证据。
其二为"国民党内部政治暗杀说"，但此说更无根据，丁文江当时正受蒋介石重用，其本人也表现出强烈的从政意愿，其绝笔诗"为语麻姑桥下水，出山要比在山清"明确表达了"出山"之志。
其三为"中医延误说"，1995年中国中医科学院伊广谦曾撰文称丁因拒绝中医诊治而死，但此说纯属杜撰。丁文江从煤气中毒至逝世全程昏迷，始终在西医院接受西医治疗，从未有请中医诊治的机会，且其死因系煤气中毒、脓胸、脑出血等，非当时中医所能救治。

丁文江的对日态度及其与国民党的真实关系，是理解其临终处境的关键。
九一八事变后，丁文江与胡适等人创办《独立评论》，初期他主张"宁为瓦全，不为玉碎"，甚至建议效法列宁签订布列斯特和约，在不丧失领土主权范围内对日妥协，以保存实力、准备长期抗战。
然而，丁文江的"低调"并非投降主义，而是基于科学分析的理性悲观。1933年初热河危急时，他的抗日调子明显变高，主张积极保卫热河，建议国民党内部团结、军事首领合作，认为"苟安是自杀政策"。
丁文江与蒋介石的关系，经历了从疏离到接近的过程。
1931年10月，《申报》曾发布"丁文江、胡适来京谒蒋"的消息，虽不完全属实，但显示蒋对丁的拉拢意图。1932年，丁文江被聘为国民政府国防设计委员会常务委员兼矿冶专门委员，正式进入政府咨询体系。
1935年末，蒋介石接任汪精卫为行政院长，重新组阁，拟聘任丁文江为铁道部长。
丁文江对国民党的态度，是"拥护并改善"的诤臣立场。他批评国民党未给人民充分民主自由、未实行三民主义建国方略、未停止以国库支出党部经费、干部为政不廉等问题，但反对暴力推翻国民党政权。

严谨地看，丁文江之死，并无政治阴谋，但其死亡时机确实带有历史悲剧性。他死于即将出任铁道部长、正式"出山"从政的前夜，死于为抗战作战略准备的工作中，死于中国从"低调"忍耐转向全面抗战的前一年。
胡适在《丁文江传》中总结其死因四要素：自身冒险精神与责任心的驱使、对内地壁炉安全性的疏忽、衡阳医生的鲁莽救治、湘雅医院的延误诊治。
丁文江死后葬于岳麓山左家垅，正是他生前为清华大学勘定的南迁校址，他的墓地成为后来西南联大精神的一个地理坐标。其遗嘱要求"于余身故时即以所故地之地方区域以内为余葬地"，不占坟地过半亩，棺值不逾银一百元，这种科学家的简朴与旷达，与其死亡过程的复杂与沉重，形成了历史的对照。