在朝堂一片反对声中，第五琦慷慨赴任，使出种种手段，不过三月之间，以前屡屡告急的军资调用大有改善，复又历半年时光，不仅军资不余，每岁竟有赢余解送太库，至此朝堂上下方才叹服玄宗陛下识人之明。第五琦由此发迹，至乾元二年时，竟至宣麻拜相，主掌天下财计。然则起来的太快，落下去自然也就快，为相不久，即因铸重钱引起天下物价腾贵，盗铸成风而被贬为忠州长史，于至忠州途中，更被人诬私受黄金，一纸诏书下达，追贬配流韶州。宝应初年，起为广州刺史，后以能政，召入为太子宾客，后改任京兆大尹兼户部尚书，专判度支事。不想霉运却是还没到头，于大历五年受权相元载排挤，以坐交奸宦鱼朝恩之名，复被贬为括州刺史，这一去就是八年，直到大历末，方被渐禀政权的时任太子李适重新召为太子宾客，分司东都洛阳。去岁，朝廷撤并江南四道节度之后，需重派德高望重之老臣于任，又因其曾数十年为官江南，更曾亲任岭南道韶州及广州刺史，是以就被李适借重用为岭南经略使，上任以来，行两税去杂捐，清政安抚地方，可谓是极得百姓推重。