Pochodzący z Baton Rouge w Luizjanie Pettit studiował i grał w koszykówkę na LSU. W drafcie NBA w 1954 roku został wybrany przez Milwaukee Hawks z drugim numerem. W sezonie 1954/55 otrzymał nagrodę dla najlepszego debiutanta oraz znalazł się w pierwszej piątce All-NBA, notując średnio 20,4 punktu, 13,8 zbiórki i 3,2 asysty w 72 meczach. W 1955 roku Hawks przenieśli się do St. Louis, a w 1968 roku klub przeniósł się do Atlanty. Pettit już w sezonie 1955/56 został pierwszym MVP w historii NBA. Notował wówczas średnio 25,7 punktu, 16,2 zbiórki i 2,6 asysty w 72 spotkaniach, a także po raz pierwszy w karierze otrzymał nagrodę MVP Meczu Gwiazd.

‍

W 1958 roku Pettit poprowadził Hawks do mistrzostwa NBA, pokonując w finale Boston Celtics. Rok wcześniej jego zespół przegrał z Bostonem po siedmiomeczowej serii. W szóstym meczu finałów w 1958 roku, który zakończył serię, Pettit zdobył 50 punktów, ustanawiając wówczas rekord fazy play-off. Jego 50 punktów do dziś pozostaje rekordem w meczu zamykającym serię finałową, choć w 2021 roku ten wynik wyrównał Giannis Antetokounmpo.

‍

Pettit pomógł St. Louis dotrzeć do finałów również w 1960 i 1961 roku, ale za każdym razem Hawks przegrywali z Celtics. W 1959 roku Pettit zdobył swoją drugą koronę króla strzelców oraz drugą nagrodę MVP sezonu zasadniczego. Słynął ze znakomitej gry na atakowanej tablicy, a znaczną część swoich punktów zdobywał z rzutów wolnych. W ciągu 11 sezonów w NBA Pettit wystąpił w 11 Meczach Gwiazd, 10 razy znalazł się w pierwszej piątce All-NBA i raz w drugiej piątce — w swoim ostatnim sezonie. 

‍

Karierę zakończył w 1965 roku jako najlepszy strzelec w historii ligi, zdobywając 20 880 punktów w 11 sezonach. Pettit notował również średnio 16,2 zbiórki na spotkanie, co daje mu trzecie miejsce w klasyfikacji wszech czasów, za Wiltem Chamberlainem i Billem Russellem.