门下平章事，为宰相，仍任山南东道节度使和观察使，并让他代左仆射裴冕任山陵使，负责肃宗的陵墓修建事务。来瑱在襄阳时，程元振曾有所请托，但来瑱没有领他的人情。及至来瑱身带宰相之称，程元振诋毁他，说来瑱说过一些不忠朝廷的话。王仲升被敌人俘虏后，因为屈服于敌人而保全了生命。敌人被打败后，他回到朝廷，与程元振友善，记恨来瑱当初不发兵相救，于是秉承程元振的旨意，诬奏来瑱与敌人通谋，导致申州兵败，主将落入敌手。
唐代宗本来对来瑱的作为一直不满，现在有了这些理由，宝应二年(763年)正月二十八日，下诏以通敌罪削除来瑱一切官爵，流放播州，第二天又赐死于路，抄没所有家产。当来瑱在鄠县被处死时，他的门客纷纷逃散，有人草草挖个坑把他掩埋。校书郎殷亮曾蒙来瑱之恩，他听说消息，从长安赶到鄠县，一个人在来瑱尸体旁哀哭，又把他骑的那头驴子卖掉，买下棺材寿衣。又连夜拜见鄠县县令长孙演，把来瑱的结局告诉他，长孙演为殷亮的义气所感动，听从了他。殷亮趁黑夜把来瑱安葬，并举行了一个简单的祭礼，然后步行走回长安。各藩镇节帅听说此事，都对程元振恨得咬牙切齿。代宗明白了来瑱之死是冤枉的，知道是程元振诬陷所致，再加上程元振一系列的罪过，把程元振流放溱州。
来瑱的行军司马庞充率两千人赴河南，至汝州，听到来瑱被杀的消息，气愤的兵士在一位叫鱼目的将领指挥下，回师进攻襄州。襄阳左兵马使李昭击败了这支哗变的部队，鱼目等人逃奔房州。李昭、薛南阳与右兵马使梁崇义有矛盾，梁崇义趁混乱之机杀了李、薛二人，朝廷任命梁崇义为襄阳节度使，兼御史中丞，接替来瑱的角色。梁崇义为来瑱建立祠堂，每年四季交替时都举行祭礼。他不住来瑱住过的房子，也不在来瑱节度使府的正堂办公，而在使院东厢建一小室休息。他向朝廷上表，强烈要求朝廷安葬来瑱，朝廷接受了他的建议。广德元年(763年)，朝廷为来瑱平反昭雪，追复他的官爵。