Mancini po zakończeniu swojej bogatej kariery piłkarskiej postanowił pójść w stronę pracy trenera. Swoją trenerską karierę rozpoczynał we Fiorentinie w wieku 35 lat. Z zespołem z Florencji wygrał Puchar Włoch. Następnym jego klubem było Lazio Rzym gdzie wywalczył ponownie Puchar Włoch oraz dotarł do półfinału Pucharu UEFA.
Do Interu dołączył w 2004 roku. Z zespołem Nerazzurrich udało mu się wygrać dwukrotnie Coppa Italia, 3 Mistrzostwa Włoch oraz 2 Superpuchary Włoch. Ze względu na liczbę zdobytych przez niego z każdym włoskim klubem, które prowadził a także jako piłkarz, nosi we Włoszech przydomek Mr. Coppa Italia.
Brak sukcesów w Europie oraz pojawienie się na horyzoncie dobrego następcy spowodował, że latem 2008 roku Mancini został zwolniony z Interu a jego miejsce zajął Jose Mourinho. Kilka miesięcy przed tym zwolnieniem Mancini tuż po odpadnięciu z Ligi Mistrzów z Liverpoolem wyznał publicznie, iż na koniec sezonu mógłby odejść. Po pewnym czasie zmienił jednak zdanie i pragnął pozostać, lecz było już za późno, nie chciał go już w klubie Massimo Moratti.
Mancini zawsze słynął z niezwykłej elegancji, ubierał zawsze drogie i dobre garnitury. Ponadto znany był z zakładanego gustownego szala, zawsze w barwach klubu, który prowadził.
Po odejściu z Interu, po pewnym czasie objął Manchester City. Z tym zespołem, gdzie dysponował olbrzymim budżetem spędził w latach 2009-2013 wywalczył 1 Mistrzostwo Anglii, zdobyte w niesamowitych okolicznościach, w ostatnich minutach ostatniego meczu, 1 Puchar Angli oraz 1 Tarczę Wspólnoty.
Kolejnym przystankiem w jego karierze był turecki Galatasaray, gdzie pomógł tej drużynie w zdobyciu Pucharu Turcji oraz zajęcia drugiego miejsca w lidze. Po sezonie jednak rozstał się z tym klubem i do listopada 2014 roku pozostawał wolnym trenerem. 14 listopada 2014 roku Inter zatrudnił Manciniego ponownie, z którym podpisano 2,5 letni kontrakt.
Po 20 miesiącach klub dogadał się z Mancinim i za porozumieniem stron rozwiązano umowę. Pod jego wodzą w sezonie 2014-2015 i 2015-2015 Inter nie zdobył żadnego trofeum rozgrywając 77 spotkań z czego zwycięstwem zakończyło się 36, remisem 18, a porażką 23. Na stanowisku zastąpił go Frank de Boer.