1944年，蒋介石把徐恩曾叫到办公室，直接质问： “你妻子放高利贷逼出人命，还私下搞走私牟利，这些事，你有没有掺和参与？”
 
徐恩曾一生有三段婚姻，第二任妻子名叫王素卿，当年是徐恩曾强行拆散对方原有家庭娶进门，后来徐恩曾抓捕一名地下女党员费侠，见对方有文化长相出众，执意要娶费侠为第三任妻子，为了顺利再婚，徐恩曾拿出一笔现金，加上成都一套房产，和王素卿办理分开手续，把人安置在成都生活。
 
徐恩曾心里清楚，王素卿跟随自己多年，掌握大量中统内部事务，还有他本人私下贪钱的不少旧事，放任对方留在成都又不放心，专门指派自己身边副官李子友前往成都，名义上是帮忙照看王素卿的日常，真实目的是盯着对方一举一动，防止她在外乱说话坏自己前途。
 
谁也没料到，副官李子友到成都之后，很快和王素卿走到一起，两人合伙打算借着徐恩曾的权势赚钱，那时候徐恩曾除了掌管中统，还兼任交通部政务次长，手里掌控全国多条运输线路的通行权限。
 
王素卿和李子友抓住这个机会，注册运输公司，打着徐恩曾次长的名号，在成渝、滇缅几条物资要道走私布匹、西药、五金等战时紧俏物资，全程逃避关税，获利数额巨大。
 
赚到第一笔钱之后，两人又拿出资金大规模发放高利贷，当时处于抗战阶段，普通百姓收入微薄，遇上灾年或者生意亏损很难按期还钱。
 
只要借贷人没能按时结清本息，王素卿就直接联系成都当地中统分支机构的特务上门施压，威逼恐吓欠债人，某次催债过程中手段过激，直接逼死一名无力还债的小商贩，闹出人命案子。
 
这件命案发生之后，当地不少百姓怨声载道，消息很快传到军统戴笠耳朵里，军统和中统常年互相竞争，戴笠一直想抓住徐恩曾的把柄削弱中统势力，立刻安排手下完整搜集王素卿走私、放高利贷、逼死人命的全部证据，整理成书面材料上报蒋介石。
 
1943年，蒋介石已经在军警宪特高层会议上警告过徐恩曾，让他约束自家亲属，不许仗着公职身份与民争利，徐恩曾当时嘴上答应会管教，私下没有采取任何约束措施。
 
蒋介石1944年单独约谈徐恩曾，就是因为多次警告之后对方依旧纵容家属违法，加上同期还有几件事叠加，让蒋介石对徐恩曾彻底失去耐心。
 
那段时间蒋介石召集特务头目开会，询问华北敌后根据地情报，徐恩曾一心钻营行政官位，没有准备相关情报，全程答不上问题，反观戴笠应答条理清晰。
 
之后国民党中央党部还出现攻击蒋介石的标语，蒋介石下令徐恩曾限期彻查，查了很久没有任何线索，两件事叠加，本就让蒋介石心生不满。
 
这次办公室质问结束之后，蒋介石勒令徐恩曾立刻处置王素卿相关事宜，徐恩曾只能马上派人把王素卿和李子友从成都转移到重庆近郊安置，关停两人名下运输公司，暂停所有放贷生意，试图平息事态，但蒋介石已经不再信任徐恩曾，这件家属违法的事情成为压垮徐恩曾的关键导火索。
 
到1945年1月，蒋介石正式下达手令，免去徐恩曾所有职务，包含中统实权岗位、交通部政务次长，明确标注永不录用，短短两天就完成中统岗位交接，徐恩曾十五年的特务生涯就此彻底结束。
 
官方信源：中国政协新闻网《徐恩曾因军统“揭发”而下台》、中国侨网《徐恩曾失宠内幕》