Oleksy był premierem RP w latach 1995-1996. Był też: Marszałkiem Sejmu w latach 1993–1995 i 2004–2005, wicepremierem oraz ministrem spraw wewnętrznych i administracji w rządzie Leszka Millera w 2004, posłem na Sejm w latach 1989–2005 (X, I, II, III i IV kadencji), przewodniczącym Sojuszu Lewicy Demokratycznej (2004–2005), wiceprzewodniczący SLD w latach 2003–2004 i od 2012.
Oleksy to jeden z najbardziej medialnych polityków. W 2003 roku wyróżniono go tytułem Mistrza Mowy Polskiej. Mimo że jego kariera polityczna gwałtownie załamała się w połowie lat 90. (m.in. w związku z tzw. aferą Olina), udało mu się odbudować publiczne zaufanie i ponownie pełnił istotne funkcje w państwie.
Osoba Józefa Oleksego przewija się także w polskiej kulturze masowej. Do Oleksego odniósł się w swym utworze "Łysy jedzie do Moskwy", Kazik Staszewski. Piosenka była komentarzem do wizyty Oleksego w Moskwie na okoliczność 50. rocznicy zakończenia II wojny światowej. Wizycie tej sprzeciwiał się ówczesny prezydent Polski, Lech Wałęsa. Powodem sprzeciwu była trwająca wojna w Czeczenii.
Polityk od lat zmagał się z chorobą nowotworową. Poważne problemy zdrowotne Józefa Oleksego rozpoczęły się kilka miesięcy temu. Oleksy cierpiał na raka prostaty. Kilka dni temu trafił do Centrum Onkologii w Warszawie.
Józef Oleksy zmarł 9 stycznia, zostawił żonę, córkę i syna.
