Народився 3 вересня1949 року в місті Вілья-Домінгес в єврейській родині іммігрантів з України. Коли Хосе було 12 років, його сім'я перебралася в столицю Буенос-Айрес[1], де Пекерман пройшов футбольну школу місцевого клубу «Аргентинос Хуніорс». Дорослу футбольну кар'єру розпочав 1970 року в основній команді того ж клубу, в якій провів п'ять сезонів, взявши участь у 134 матчах чемпіонату. Більшість часу, проведеного у складі «Аргентинос Хуніорс», був основним гравцем команди.
1974 року перейшов до колумбійського клубу «Атлетіко Насьйональ», за який відіграв чотири сезони. Граючи у складі «Атлетіко Насьйональ» також здебільшого виходив на поле в основному складі команди і 1976 року допоміг своїй команді виграти чемпіонат Колумбії.
Завершив професійну кар'єру у 28 років через травму коліна у 1977 році.
Розпочав тренерську кар'єру, повернувшись до футболу після невеликої перерви, 1981 року як тренер молодіжної команди клубу «Чакаріта Хуніорс». Після цього був тренером молодіжних команд у рідному «Аргентинос Хуніорс» та чилійському «Коло-Коло».
З 2002 року Пекерман був координатором збірної Аргентини на чемпіонаті світу 2002 року. Після того як у відставку подав тренер Марсело Б'єлса, Пекерман був призначений новим головним тренером збірної Аргентини. Під керівництвом Пекермана збірна Аргентини зайняла друге місце на Кубку Конфедерацій 2005 року, а потім завоювала путівку на чемпіонат світу 2006 року в Німеччини. У своїй групі збірна Аргентини розгромила збірну Сербії з рахунком 6:0, а в 1/8 фіналу перемогла збірну Мексики з рахунком 2:1. У чвертьфіналі аргентинці програли господарям чемпіонату, німцям, по пенальті. Після цього Пекерман був відправлений у відставку.