Aquesta oposició excessiva va molestar els soldats i oficials que li donaven suport, que van romandre decebuts i desautoritzats, i van convertir la fidelitat en odi. Amb [[Vitel·li]] a l'imperi, va ser acusat de participar en una conspiració contra l'emperador i els soldats van demanar la mort del seu antic cap, però Vitel·li no ho va concedir i es va retirar a la vida privada.
A 83 anys, l'any [[97]], [[Nerva]] el va nomenar cònsol per tercera vegada junt amb ell mateix. En el consolat es va trencar una cama en un accident, i finalment va morir. Va rebre un funeral públic i [[Tàcit]], llavors cònsol, va llegir el seu panegíric.<ref name="Tàcit"/><ref>[https://quod.lib.umich.edu/m/moa/acl3129.0003.001/685?page=root;rgn=full+text;size=100;view=image;q1=Rufus{{ref-llibre |cognom=Smith |nom=William (ed.) |títol=Dictionary of Greek and Roman Biography and Mythology. Vol. III |pàgines=677-678 |lloc=Boston |editorial=Little, Brown & Comp. |any=1867}}]</ref> Segons que explica [[Plini el Jove|Plini]], a la seva làpida hi deia: ''Hic situs est Rufus, pulso qui Vindice quondam imperium adseruit non sibi sed patriæ'' ('Ací jau Rufus, qui, havent vençut, en altre temps, Víndex, exercí el comandament no en profit seu sinó en profit de la pàtria').<ref name="Plini"/>
