黄海海战结束后，北洋水师各舰损伤情况的报告主要有两个来源：一是旅顺基地维修人员逐舰清点的伤痕档案，二是部分参战官兵的回忆。这两类材料后来被英国海军调查报告大量引用，成为至今研究这场海战损伤情况最系统的依据。
然而，维修人员判定伤痕成因时，采用的是一种“以痕推弹”的方法：根据弹孔大小和弹痕深浅反推炮弹口径。这种方法存在一个很大的缺陷：弹痕的尺寸并不完全对应炮弹的口径，它还与命中角度、着速、装甲材质和弹种密切相关，仅靠弹痕判断很容易出错。
最明显的漏洞出现在对日军大口径炮弹命中数的统计上。日本联合舰队中，“松岛”、“严岛”、“桥立”三艘海防舰各装备一门320毫米主炮，这是当时日方口径最大的舰炮。但整场海战中，这三门炮因为过于笨重，操作复杂，且炮身存在设计缺陷，因此射速极慢。在海战中总共只打出13发炮弹。根据日方不同资料记载，这13发炮弹最乐观的估计也就是命中了1发而已。而“浪速”、“高千穗”的260毫米炮，合计发射炮弹55发，按照当时海战的命中率推算，至多命中两到三发。
旅顺档案的判定却与此严重脱节。“定远”被记录为中了4发320毫米炮弹和4发260毫米炮弹，“镇远”至少中了1发320毫米炮弹，而“来远”更是被标注为“多处被320毫米和260毫米炮弹击中”。
把这些数字加在一起，已经超过了日方这两种口径炮弹的实际发射总量，更不要说实际命中数了。出现如此大的误差，在于维修人员看到较大的弹痕，便倾向于将其归入最大口径的类别，同时他们当时也不可能知道日军实际发射了多少炮弹，无法进行核验，以至于出现了严重误判。
误判并非北洋水师独有。日方在海战后的伤情报告中也多次出现“被330毫米炮弹击中”的记录，而北洋水师口径最大的火炮不过是“定远”、“镇远”的305毫米主炮。日方根据战场上弹着水柱和战后舰体伤痕来判断口径，将305毫米误判为330毫米，同样属于战场条件下的合理误差。