Prvi podaci o boksu datiraju iz drevnog Egipta (3000 godina pne), a na Igrama su od VII veka pne. U prvim zabeleženim borbama su se borbe gotovo uvek završavale smrću jednog od boraca.
Sa raspadom Rimske imperije je došlo do prestanka borbi sve dok u Engleskoj 1880. godine nije počelo organizovanje bokserskih nadmetanja. U prvim organizovianim borbama je postojalo samo pet težinskih kategorija: Bantam (-54kg), pero (-57kg), laka (-63.5kg), srednja (-73kg) i teška (bez ograničenja u težini takmičara).
Kada je, u Sent Luisu 1904. godine, boks imao svoj olimpijski debi, takmičare su imale samo SAD. Mnogo godina kasnije su amerikanci dominirali bokserskim arenama, osvajajući ukupno 109 medalja (od čega 48 zlatnih) od 842 medalje dodeljenje na takmičenjima u boksu na Olimpijskim igrama.
Od 1904. godine, boks je bio na progaramu svih Igara do današnjih dana, sa izuzetkom 1912. godine u Stokholmu, kada je poštujući zabranu organizovanja bokserskih mečeva (po švedskom zakonu), boks skinut sa programa Igara.
Od 1984. je došlo do nekoliko značajnih izmena u pravilima takmičenja na Igrama: u Los Anđelesu (1984.) je zaštitna kaciga postala obavezna za sve takmičare; u Barseloni 1992. je uveden elektronski sistem praćenja meča u cilju veće objektivnosti suđenja; 2007. godine je standardizovano bodovanje.
Ženski boks je imao svoju premijeru u Londonu 2012.
