V roce 1896 se konaly v Aténách první novodobé olympijské hry. Do roku 1912, do olympijských her ve Stockholmu, se hry nekonaly pod vlastní olympijskou vlajkou.

Až roku 1914 navrhl baron Coubertin známý symbol do sebe vklíněných pěti kruhů v modré, černé, žluté, zelené a červené barvě na bílém poli. Jak je obecně známo, symbolizují kruhy 5 dílů světa spojených olympijskou myšlenkou. Barva jednotlivých kruhů však nemá se světadíly nic společného, nepředstavuje, jak se mnozí nesprávně domnívají, černý kruh Afriku a žlutý Asii.

Barvy kruhů byly tak voleny proto, že z nich mohou být sestaveny barvy vlajek všech států. Alespoň v době vzniku vlajky tomu tak bylo. Baron Coubertin dal v roce 1914 zhotovit v „Bon Marché" vlastním nákladem 500 kusů těchto olympijských vlajek. Vlajka byla poprvé vyvěšena 14. června 1914 večer před zahájením olympijského kongresu v Paříži při oslavě uspořádané hrabětem a hraběnkou de Bertier. Dne 14. června doprovázela vlajka, nesena šesti skauty, presidenta Poincaré k jubilejní oslavě dvacátého výročí založení olympijských her. Vlajka byla ukazována při všech slavnostech a výletech, získala si ihned velkou oblibu a mnoho účastníků si ji přivezlo z Paříže do své vlasti.     

Po vypuknutí první světové války bylo sídlo mezinárodního olympijského výboru roku 1915 přeloženo do Lausanne. Olympijská vlajka pak vlála z tamější radnice. Roku 1916 byla přenesena vlajka do San Franciska, kde zdobila výstavu „Den mezinárodního olympijského výboru“.

Olympijské barvy zavlály poprvé nad olympijskými závodníky při olympijských hrách v Antverpách v roce 1920. Tehdy byla též zasvěcena belgickým olympijským výborem darovaná, krásně vyšívaná, atlasová vlajka.

Ve městě, kde se pořádaly poslední olympijské hry, se vlajka při závěrečném ceremoniálu odevzdává zemi, která pořádá příští hry. V příštím roce opět zavlaje v Riu de Janeiru v Brazílii při konání již XXXI. letních olympijských her.