С детства занимался пением в школьной художественной самодеятельности, был победителем школьных областных и республиканских олимпиад. В 1956 закончил Днепропетровский горный техникум. В годы учебы продолжал заниматься пением. В том же году был призван в ряды Советской Армии. В первый год службы был батарейным запевалой, а в дальнейшем - артистом Ансамбля песни и пляски Закавказского военного округа.
После демобилизации в 1958 И. Кобзон поступил в Государственный музыкально-педагогический институт имени Гнесиных на вокальный факультет в класс Любови Владимировны Котельниковой. Учебу в институте совмещал с работой в цирке в качестве вокалиста.
После встречи с Аркадием Островским Кобзон начал петь на эстраде. Вначале он выступал в дуэте с В. Кохно, а затем работал самостоятельно с композиторами В. Мурадели, А. Новиковым, А. Бабаджаняном, М. Фрадкиным, А. Пахмутовой, С. Туликовым, Я. Френкелем, Э. Колмановским, О. Фельцманом и другими. Кропотливая работа над новыми песнями с композиторами и поэтами Л. Ошаниным, М. Матусовским, Е. Долматовским, Р. Гамзатовым, Р. Рождественским и другими помогала И. Кобзону глубже вникать в содержание произведений.
В 1962 вышла первая пластинка песен А. Островского и А. Пахмутовой в исполнении Иосифа Кобзона. В том же году певец впервые выехал в творческую командировку в Венгрию с Э. Колмановским и К. Ваншенкиным. В это время Кобзон начал работать самостоятельно с сольными концертами, много выезжал в отдаленные города страны и на стройки.
В 1964 Кобзон выступил на Международном конкурсе в Сопоте (Польша) и стал его лауреатом. В 1965 принял участие в международном конкурсе , который проходил в шести социалистических странах, и завоевал первые места в Варшаве, Берлине и Будапеште. В 1966 - лауреат Всесоюзного конкурса исполнителей советской песни. В 1968 - лауреат международного конкурса . Участник многих Всемирных фестивалей молодежи и студентов.
Артист неоднократно выезжал с концертами на многие ударные комсомольские стройки, к труженикам села. Активно занимался шефской работой в частях Советской Армии. Награжден знаками за военно-шефскую работу и за шефскую работу для тружеников сельского хозяйства.
Иосиф Кобзон - член президиума Национального олимпийского комитета, член президиума правления Центрального Дома работников искусств СССР, заместитель председателя и член президиума Всесоюзного музыкального общества.
Начиная с 1980 певец шесть раз выезжал с концертами к воинам-интернационалистам в Афганистан. В июне 1986 Кобзон выступал в городе Чернобыле. Неоднократно выступал с концертами в социалистических странах, а также в США, Испании, Швеции, Израиле, Греции, Финляндии, Конго, Заире, Анголе, Нигерии, Коста-Рике, Панаме, Перу, Эквадоре, Боливии, Аргентине, Португалии и других странах.
С 1984 преподает эстрадный вокал в Государственном музыкально-педагогическом институте имени Гнесиных (ныне Российская академия музыки).
Его именем названа планета, зарегистрированная в международном каталоге планет под номером 3399. Народный артист СССР (1987), Государственная премия СССР (1984). 25 ноября 1996 за общественную деятельность в области культуры и искусства присвоено звание академика гуманитарных наук.
В сентябре 1997 официально закончил свою концертную деятельность.