Se sap que queel terme ''phonème'' (del {{lang-grc|φώνημα}}, ''phōnēma'') fou usat per primer cop per [[Antoni Dufriche-Desgenettes]] el 1873, però només per referir-se al so de la parla. El terme ''fonema'' com a [[Abstracció (filosofia)|abstracció]] fou desenvolupat pel lingüista polonès [[Jan Niecisław Baudouin de Courtenay]] i el seu alumne [[Mikołaj Kruszewski]] durant 1875–1895.{{sfn|Jones|1957}} El terme que van fer servir ambdós fou ''fonema'', la unitat bàsica del que ells van anomenar com a ''psicofonètica''. El concepte de fonemea fou elaborat després en les obres de [[Nikolai Trubetzkoi]] i altres membres de l'[[Escola de Praga]] (durant els anys 1926–1935), i en alguns dels [[Estructuralisme|estructuralistes]] com [[Ferdinand de Saussure]], [[Edward Sapir]], i [[Leonard Bloomfield]]. Alguns estructuralistes (però no pas Sapir) rebutjaren la idea d'una funció psicolingüística o cognitiva del fonema-{{sfn|Twaddell|1935}}{{sfn|Harris|1951}}
Posteriorment, fou usat i redefinit en la [[lingüística generativa]], de manera especial per part de [[Noam Chomsky]] i [[Morris Halle]],{{sfn|Chomsky|Halle|1968}} i roman com a centre de moltes idees en el desenvolupament de la moderna [[fonologia]]. Com a concepte teòric o model, tanmateix, ha estat complementat i fins i tot substituït per d'altres.{{sfn|Clark|Yallop|1995|loc=chpt. 11}}
