Jeroham es fundà el 1951, amb el nom de Kefar Jeroham, prop de les restes d'un poblat del segle x aC anomenat Tel Ramà, que es troben a l'oest de la localitat moderna. Ja des del començament obtingué l'estatus de "ciutat a desenvolupar", i havia de servir per a allotjar els treballadors de la indústria dels fosfats, la majoria immigrats de Romania, el nord de l'Àfrica i l'Iraq.
Tot i que la ciutat va gaudir de la promoció governamental i que entre 1990 i el 2002 arribaren dos mil nous immigrants, la ciutat creix molt lentament i és considerada un exemple de la fallida del projecte de poblar el Nègueb. Actualment, la majoria de les "ciutats a desenvolupar" pateixen d'atur, fracàs escolar i alta criminalitat. En aquest cas, però, la fallida i els errors s'atribueixen a l'exalcalde Barukh Elmekies, que governà durant dues legislatures, ja que malgastà els fons públics sense control. D'altra banda, aquest alcalde fou qui donà personalitat a Jeroham: per exemple, és l'única ciutat del Nègueb amb un llac artificial al centre urbà.
