El club nasqué l'any 1878 amb el nom '''Grimsby Pelham''' en una reunió en la que es trobaven, entre d'altres, membres del ''Worsley Cricket Club'', que estaven interessats ena crear una secció de futbol. Poc després esdevingué '''Grimsby Town'''. L'any 1888 el club ingressà a la Combination League, i l'any següent fou admès a la Football Alliance. El 1890 esdevingué una societat limitada i dos anys més tard ingressà a la Football League. L'any 1910 no renovà la llicència i marxà a la Midland League, retornant poc després a la Football League novament. La millor època la visqué el club a partir de 1929, quan assolí l'ascens a la Division One, on romangueren (amb excepció del període 1932 a 1934) fins a 1939. La seva millor classificació fou una cinquena posició la temporada 1934-35. Els anys 1936 i 1939 arribà a les semifinals de la FA Cup, perdent amb l'[[Arsenal FC]]<ref>{{cite web|url=http://www.itnsource.com/en/shotlist/BHC_RTV/1936/03/23/BGU407210345/?s=arsenal+1936&st=0&pn=1 |publisher=ITN Source |title=Arsenal defeats Grimsby Town in the FA Cup Semi-Finals |accessdate=29 Agost 2012}}</ref><ref>{{cite news|title=Arsenal in the Final|newspaper=The Times|publisher=John Jacob Astor|page=6|date=23 Març 1936}}</ref> i [[Wolverhampton Wanderers]],<ref name="Old Trafford's evolution">{{cite web|url=http://www.manutd.com/en/news-and-features/features/2011/mar/old-trafford-attendances.aspx |title=Old Trafford's evolution |publisher=Manchester United Football Club |date=25 Març 2011 |accessdate=29 Agost 2012}}</ref> successivament. Després de la [[Segona Guerra Mundial]] el club descendí a les categories inferiors, entre Segona i Quarta. L'any 2010 baixà a Conference National, després de 117 anys com a club de la Football League.<ref>{{cite web|url=http://news.bbc.co.uk/sport1/hi/football/eng_div_3/8632870.stm |title=Burton 3-0 Grimsby |publisher=BBC Sport |date=8 Maig 2010 |accessdate=29 Agost 2012}}</ref>
Alguns entrenadors destacats del club foren [[Bill Shankly]] (1951-1953), [[Lawrie McMenemy]] (1971–1973, qui aconseguí l'ascens a tercera el 1972) i [[Alan Buckley]] (qui dirigí l'equip en tres ocasions entre 1988 i 2008, assolint tres ascensos).
