苏谅全部身家最终血本无归！他卖珠宝卖船投资李善德，到最后李善德根本无法帮他争取利益，李善德带着荔枝运送计划书回长安后，寻求朝廷各部门配合运送，但这里面水深人心叵测，运荔枝功劳都是他的，别人没有好处谁会配合他，李善德在各衙门四处奔走碰壁，内侍鱼承恩还把他的计划书骗走想独吞功劳，李善德一时陷入绝望之中。
此时鱼承恩的对手高力士出手，他不能让鱼承恩立功得圣人恩宠，派人把李善德引荐给右相杨国忠，杨国忠看到这里面的利益，一来荔枝运回长安博杨贵妃一笑，他的地位会更加稳固，二来他增设荔枝税从中大肆敛财。
杨国忠拿了一块象征权力的银牌给李善德，让他全权调度各部门配合运荔枝，当李善德提出让苏谅赞助运送荔枝时，直接被杨国忠拒绝，因为苏谅岀资，杨国忠没有由头增设荔枝税敛财，远在岭南的苏谅不知道自己即将面临不好的结局，还在苦等李善德的消息。
当李善德回到岭南正式开始运荔枝时，苏谅欣喜地以为可以做皇商了，李善德无法向苏谅明说杨国忠阻拦，只能称自己无能为力，小说中苏谅虽然没有倾家荡产出资，但前后三次投资了五千贯，结果竹篮打水一场空损失惨重。
苏谅出资一半是为了生意，一半是看重李善德的人品，结果让他大失所望，愤怒之下与李善德翻脸，两人关系初步恶化，这个时候赵辛民再来一记补刀，他看李善德有右相撑腰想讨好巴结，听说苏谅和李善德闹翻，为了替李善德出气，并消除他当初私卖符牒的隐患，赵辛民派市舶司精锐去查抄苏谅的商号。
苏谅听到风声以为李善德要斩草除根，心里十分愤怒，但时间紧迫顾不上其它，只把大船连夜拔锚离港，也愤然带走了运送荔枝的关键装备双层瓮，至此李善德与苏谅彻底决裂。没有了双层瓮保鲜，荔枝无法运到长安，苏谅知道这是李善德的软肋，所以在撤离时果断带走了所有双层瓮，这是对李善德最好的报复。
祸是赵辛民闯的，双层瓮已经没有了，他只有跑前跑后补救，找来大量牛胃勉强当双层瓮来使用，而苏谅被官府查抄，悲愤回到海上，李善德被流放岭南后，曾请胡商给不知身在何处的苏谅捎信，但信的去向没有交代，两人之间的误会到故事最后也没有化解。
