Prva fudbalska lopta donesena je u Bosnu i Hercegovinu 1903. godine, ali se fudbal u Sarajevu počeo igrati tek 1908. godine. Naime, te godine grupa đaka saraejvske Gimnazije boravila je u Zagebu, gdje se upoznala sa pravilima fudbalske igre i zavoljela fudbal. Posmatrali su treninge zagrebačkih đaka, pa su i sami zaigrali. U Sarajevo su se vratili sa loptom i odmah počeli vježbe iz fudbalske vještine na časovima gimnastike na igralištu Realne gimnazije. Iste godine učenici su osnovali svoj Srednjoškolski sportski klub, čiji su osnivači bili Emil Najšul, Feodor Lukač, Stevo Jokanović, Zdravko Jeftanović... Splitski "Hajduk" je 1911. godine pozvao u goste sarajevski klub i njihovu momčad na plakatima označio kao "Osman". Mladićima iz Sarajeva se ime dopalo, pa je tako nastao prvi organizovani fudbalski klub u gradu na Miljacki.

Prije prvog svjetskog rata bilo je pet klubova u Sarajevu: Srpski ŠK (kasnije Slavija), Hrvatski ŠK (kasnije SAŠK), Muslimanski ŠK (kasnije Sarajevski), Židovski ŠK (kasnije Barkohba) i Radničko športsko društvo Hajduk. "Osman" je ubrzo po osnivanju rasformiran. Poslije završetka prvog svjetskog rata, uz obnavljanje pomenutih, osnivaju se i novi klubovi: Troja, Šparta i Građanski.

Fudbal je u začetku u Jugoslaviji, pa i u Sarajevu, bio privilegija intelektualaca, ali ga je ubrzo počela igrati i radnička omladina. Sredinom druge i početkom treće decenije 20. stoljeća postao je najjeftinija i najdraža zabava mladih radnika. Mladi radnici Željezničke radionice osnovali su 1912. godine prvi radnički klub u Sarajevu - Hajduk, koji je godinama bio mjesto okupljanja radnika i svojevrstan način borbe protiv nacionalističkih stremljenja ispoljenih prilikom stvaranja i djelovanja Srpskog, Hrvatskog, Muslimanskog i Židovskog kluba. U tom periodu, tačnije 1921. godine, osnovan je FK Željezničar.

Najuspješniji klubovi u periodu između dva svjetska rata svakako su bili Slavija i SAŠK. Ova dva kluba su nastupali na gotovo svim državnim prvenstvima u tom periodu, a najveći uspjesi su dva osvojena druga mjesta. Prvo je SAŠK 1923. godine poražen zagrebačkog kluba "Građanski" u finalu (1:1 i 2:4), a zatim Slavija u sezoni 1935/36, kada je u finalu bolji bio beogradski BSK (1:1 i 0:1).

Početkom Drugog svjetskog rata, sve sportske aktivnosti su zamrznute, a samo mjesec dana nakon oslobođenja Sarajeva u glavnom gradu BiH došlo je do obnove sportskog života. Na inicijativu Rate Dugonjića u zgradi Hipotekarne banke 10.5.1945. sastala se grupa mladića u partizanskim uniformama, a pridružili su im se brojni sportski radnici. Učesnici sastanka složili su se da ne dolazi u obir obnavljanje klubova koji su u periodu između dva svjetska rata djelovali na vjerskoj i nacionalnoj osnovi. U to vrijeme osnivaju se novi klubovi Sloboda i Udarnik, a obnovljen je i rad SD Željezničar. 1946. godine fuzijom Slobode i Udarnika nastaje novi klub FK Torpedo, koji godinu dana kasnije mijenja ime u Sarajevo.

Od tada grad Sarajevo ima dva respektabilna kluba koji će ime grada Sarajeva pronositi terenima širom svijeta. Sarajevo i Željezničar su bili gotovo stalni Prvoligaši, pa je tako FK Sarajevo od ukupno 46 odigranih Prvenstava Jugoslavije, u čak 43 bio član Prve savezne lige, dok je i Željezničar u Prvoj saveznoj ligi Jugoslavije proveo 34 sezone. Nije se dugo čekalo na prvi veći uspjeh, pa je tako FK Sarajevo već u sezoni 1947/48 bio polufinalista Kupa Maršala Tita, a isti uspjeh ponovili su i u sezoni 1951/52.
Nakon toga nastupa uspješno razdoblje sarajevskih klubova. Tako je najprije Željezničar u sezonie 1963/64 osvojio treće mjesto, da bi iduće sezone Sarajevo bilo četvrto, a godina nakon toga se okitilo vicešampionskom krunom.

U sezoni 1966/67 dolazi do najvećeg uspjeha bosnaskohercegovačkog fudbala, FK Sarajevo osvaja prvu titulu prvaka Jugoslavije, a paralelno i nastupa u finalu Kupa Maršala Tita, gdje je poražen od splitskog Hajduka (1:2). Već u idućoj sezoni Željezničar osvaja titulu jesenjog prvaka, a u sezoni 1970/71 i prvu vicešampionsku titulu. Ipak kruna tih uspješnih godina dolazi u idućoj sezoni, 1971/1972 kada se i Željezničar po prvi put u svojoj historiji okitio šampionskom titulom.
U narednih sedam godina nastupa loš period za sarajevske klubove, tako da ni Sarajevo ni Željezničar nijednom nisu uspjeli završiti među prve četiri ekipe na tabeli, a ekipa Željezničara je u sezoni 1976/77, samo pet godina nakon osvajanja titule, ispada iz Prve savezne lige. Ipak početkom osmog desetljeća sarajevski se fudbal ponovo budi. Tako Sarajevo predvođeno Safetom Sušićem najprije osvaja titulu jesenjeg prvaka, a na kraju vicešampionsku titulu u sezoni 1979/80. U idućoj sezoni Željezničar igra finale Kupa Maršala Tita, ali gubi od mostarskog Veleža (2:3). Ipak uspjesi sarajevskih klubova se nastavljaju, tako je Sarajevo u sezoni 1981/82 osvojilo četvrto mjesto, a godinu dana kasnije po drugi puta nastupilo u finalu Kupa, no i opet su bili poraženi, ovaj put od zagrbačkog Dinama (2:3). A u sezoni 1983/84 Željezničar završava Prvenstvo na visokom trećem mjestu

Kruna uspjeha dolazi u sezoni 1984/85, kada Sarajevo osvaja drugu titulu prvaka Jugoslavije, a Željezničar ostvaruje historijski uspjeh plasmanom u polufinale Kupa UEFA, kada ih je samo par minuta dijelilo od eliminacije mađarskog Videotona i plasmana u finale protiv velikog Real Madrida. Nakon toga, pa sve do raspada Jugoslavije ni Sarajevo ni Željezničar nisu napravili ništa vrijedno spomena, ne plasiravši se niti jednom među prvih 6 timova u Prvenstvu.

Kada je u pitanju drugoligaški fudbal, najzapaženiju ulogu od klubova iz sarajevske regije igrao je Famos (Hrasnica), koji je u Drugoj saveznoj ligi Jugoslavije odigrao čak 647 utakmica. Pored Famosa, nekoliko sezona u Drugoj ligi proveli su i Pofalički (Sarajevo), UNIS (Vogošća), Bosna (Sarajevo) i Radnik (Hadžići).

Početkom agresije na Bosnu i Hercegovinu, zaustavlja se rad klubova. U septembru 1994. godine sarajevski klubovi učestvuju na završnici Prvenstva BiH u Zenici, na kojem Sarajevo osvaja drugo, a Željezničar posljednje četvrto mjesto. U oktobru 1994. godine organizovan je i Kup sarajevske regije, u kojem je učestvovalo osam ekipa, a u finalu 22. oktbora na Koševu su se sastali Sarajevo i Željezničar. Tim sa Koševa je slavio pobjedu 4:2 i tako se plasirao u četvrtfinale Kupa BiH, gdje je kasnije eliminisan od mostarskog Veleža.

Nakon završetka rata, počele su uspješne godine za sarajevski fudbal, tako je najprije Sarajevo u sezoni 1996/97 osvojilo drugo mjesto u Prvenstvu, te titulu pobjednika Kupa BiH, savladavši u finalu upravo ekipu Željezničara rezultatom 2:0.

U sezoni 1997/98, po prvi put je odigran plej-of sa klubovima iz NSHB, a finale plej-ofa odigralo se na Koševu između naša dva najveća kluba Sarajeva i Željezničara. Utakmica je završena pobjedom Željezničara 1:0 koji je tako osvojio prvu titulu šampiona Bosne i Hercegovine. Sarajevu je za utjehu pripalo osvajanje Kupa BiH, pobjedom nad Slobodom 1:0. U idućoj sezoni, Sarajevo ubjedljivo osvaja prvo mjesto u Prvenstvu koje je bilo pod organizacijom NSBiH, ali zbog nesporazuma Veleža i Zrinjskog oko stadiona u Mostaru, plej-of nije odigran, pa je titula prvaka Bosne i Hercegovine dodijeljena Sarajevu.

Nakon toga uslijedile su zlatne godine Željezničara, koji je najprije osvojio Kup u sezoni 1999/2000, a potom dvostruku krunu u sezoni 2000/01, te titulu prvaka godinu dana kasnije. U te dvije sezone, na Koševu se igralo dva puta finale Kupa, oba puta između Sarajeva i Željezničara. Prvi put je Željezničar bio uspješniji (2000/01, rezultatom 3:2), a drugi put se trofej Kupa našao vitrinama kluba sa Koševa (2001/02, 2:1). Željezničar je i u sezoni 2002/03 ponovo zaigrao u finalu Kupa, te u dvije utakmice bio bolji od trebinjskog Leotara i osvojio treći Kup. U sezoni 2004/05 Sarajevo je uspjelo osvojiti rekordni, četvrti Kup BiH.

Nakon ujedinjenja Lige, koja se igrala na prostoru cijele države, nijedan sarajevski klub nije uspio doći do naslova, a četiri godine zaredom su završavali na drugom mjestu, najprije Željezničar (2003, 2004, 2005), pa Sarajevo (2006). Ipak, konačnou sezoni 2006/07 FK Sarajevo postaje prvi sarajevski šampion u prvenstvu koje se igralo na prostoru cijele države. Danas u Premijer ligi, Sarajevo ima tri predstavnika, a pored FK Sarajevo i Željezničara, u najelitnijem razredu bh. fudbala takmiči se i Olimpik.

Pored ova tri kluba, nakon rata su još tri sarajevska kluba nastupila u najelitnijem takmičenju, tačnije rečeno Vrbanjuša, Radnik (Hadžići) i Đerzelez Zenica (nastao fuzijom sarajevskog NK Đerzeleza i NK Zenica)