Tijekom rasprave o III olimpijskim igrama Međunarodni olimpijski odbor odlučio je organizirati to u Sjedinjenim Državama, jer je ova država pokazala dobre rezultate u prethodne dvije igre. U početku su željeli održati Olimpijske igre u Chicagu ili New Yorku, ali kao rezultat toga, izbor je pao na mali lučki grad St. Louis.
III olimpijada u St. Louisu, zajedno s Parizom, održana je u sklopu Svjetske izložbe. Međutim, lokalno rukovodstvo izložbe nije je smatralo konkurencijom, već je, naprotiv, dalo sve od sebe kako bi igre koristilo u vlastite reklamne svrhe. Osim toga, organizatori su ponovili neke pogreške ljetnih olimpijskih igara 1900. u Parizu. Zbog privrženosti Svjetskoj izložbi, natjecanja su se povukla u pozadinu, a sama olimpijada protezala se gotovo 5 mjeseci (1. srpnja - 23. studenog 1904.). Mnoga natjecanja održavala su se pod vodstvom različitih strukovnih organizacija, no unatoč tome svima je dodijeljena titula olimpijskih disciplina.
Prema MOK-u, 12 zemalja sudjelovalo je u ljetnim igrama u St. Louisu. Jedina država koja je prvi put sudjelovala na natjecanju bila je Južna Afrika. U usporedbi s Olimpijskim igrama u Parizu, broj zemalja sudionica naglo je opao. 13 država koje sudjeluju u Ljetnim igrama u Parizu nisu bile u mogućnosti doći u St. Louis iz ekonomskih razloga. Rusija, koja se u to vrijeme borila s Japanom, nije sudjelovala na natjecanjima.
Na III ljetnim olimpijskim igrama nastupilo je ukupno 651 osoba, uključujući 6 žena. Natjecali su se za 94 seta nagrada u 18 sportova. Najveći tim bili su Sjedinjene Američke Države, oni su na igrama predstavljali 533 osobe. U mnogim sportovima (boks, hrvanje, vaterpolo, streličarstvo i tenis) nastupili su samo američki sportaši, tako da su igre jasno pokazale primat u državi.
U St. Louisu su prvi put počeli nagrađivati troje, a ne dva sportaša koji su pokazali najbolji rezultat. Glavnom pobjedniku natjecanja dodijeljena je zlatna medalja; drugoplasirani sportaš - srebro; a treće mjesto obilježeno je brončanom nagradom. Ta je tradicija preživjela do danas.
U neslužbenom ekipnom poretku zemlje sudionice nalaze se na sljedeći način: I mjesto - SAD (78 zlata, 82 srebra, 78 brončanih medalja), II mjesto - Njemačka (4 zlata, 4 srebra, 5 brončanih medalja), III mjesto - Kuba (4 zlata, 2 srebrne, 3 brončane medalje).
