郭家祖坟被宦官鱼朝恩派人掘了，郭子仪说这是天罚，不是人祸。朝廷数次夺他兵权，他从不争辩，几度请他出山，他也不推辞。功劳够大，姿态很低，全无野心。不让天子猜忌，不给小人口实。
大历十四年，八十三岁的郭子仪有官衔：汾阳郡王，食邑万户；司徒，正一品；上柱国，正二品；中书令，正二品；单于、镇北大都护；灵州大都督；关内、河东副元帅；朔方节度使，辖灵、夏、丰、盐等州；河中节度使；河阳道观察使；盐池、六城水运大使；押蕃部并营田使；河中尹；关内支度。集军事、中枢、地方官职于一身，政府最核心的职权，他一人占了大半。而上一位身兼如此多实权头衔的，是武德年间的秦王李世民。
广德二年，代宗要封他尚书令。此前只有太宗任过此职，之后历代不授。郭子仪拼死推辞，不敢接受。代宗派五百骑兵持戟护卫，百官前往尚书省恭迎就职，郭子仪还是不肯。
郭子仪的六子郭暧娶了代宗女儿升平公主，小两口某次吵架，郭暧说你有啥了不起的，不就仗着你爹是皇帝么，我告诉你说，我爹只是不稀罕做皇帝。公主很生气，连夜回宫告状。代宗说人家说得没错，他爹确是不屑做天子，他要是想做，这天下还不是你家的。郭子仪进宫请罪。代宗笑着说，不痴不聋不是好家长，孩子们打闹说笑的话能当真么？我们当长辈的就不要放在心上了。