Quan Fëanor va ser exiliat a Formenos, els Silmarils es van guardar en una cambra de ferro. Aleshores, [[Melkor]] i [[Ungoliant]] van destruïrdestruir els dos arbres. En aquest punt els Silmarils eren l'únic record de la llum dels arbres, i els [[Vàlar]] van demanar a Fëanor que els deixèsdeixés els Silmarils per intentar recuperar els arbres, però ell no va voler. Mentre discutien Mélkor va matar [[Finwë]], el pare de Fëanor, i havia robat els joiells. Mélkor va endur-se'ls a la seva fortalesa del nord de la Terra Mitjana, i els va posar a la seva corona.
Enfurit contra Mélkor i els Vàlar, Fëanor va liderar la seva gent a la Terra Mitjana per recuperar els Silmarils. Els Noldor van lluitar cinc grans batalles amb aquest objectiu, peroperò van fracassar.
Un dels Silmarils va ser recuperat per [[Beren]] i [[Luthien]], tot i que amb molta dificultat i sacrificis. Aquest Silmaril va ser heredatheretat per Eärendil, que el va portar a l'Oest a els Vàlar com a mostra d'arrepentimentde penediment. Els Vàlar, aleshores, van col·locar el Silmaril al firmament com a estrella. Les altres dues gemmes van quedar en poder de [[Morgoth]], i només van poder ser-li arrebassadesarrabassades després de la [[Guerra de la Ira]]. Tanmateix, poc després van ser robats pels fills de Fèanor Maedhros i Maglor. Les joies van cremar les seves mans, com havien cremat les mans de Morgoth temps ha, refusant-los com a legítims propietaris. Cridant de dolor, Maedhros va llençar-se ell i el Silmaril en un esborancesvoranc, i Maglor al mar. Aicí, els Silmarils van quedar situats als tres elements d'Arda: el cel, la terra i l'aigua.
