Schwarzenegger urodził się w wiosce Thal na przedmieściach Grazu w Austrii jako syn komendanta policji, Gustava Schwarzeneggera (1907–1972) i Aurelii Jadrny (1922–1998). Jego ojciec w 1938 r. dobrowolnie wstąpił do NSDAP, a później brał udział w II wojnie światowej[1]. Ze służby został zwolniony w 1943 r. gdy zaraził się malarią. Gustav 20 października 1945 r. poślubił Aurelię Jadrny, 23-letnią wówczas wdowę z synem, Meinhardem. Według Schwarzeneggera rodzice byli bardzo surowi i ciężko karali za nieposłuszeństwo. Byli też religijnymi katolikami i w każdą niedzielę chodzili na mszę.
Ponieważ Gustav szczególnymi względami darzył pasierba, a nie własnego syna relacje między nimi nie były najlepsze. Ta skłonność do „silnego i rażącego” faworyzowania Meinharda, wynikała z nieuzasadnionego podejrzenia, że Arnold nie jest jego dzieckiem[2]. Zupełnie inaczej układały się jego kontakty z matką, z którą miał dobre relacje, aż do jej śmierci. W szkole był duszą towarzystwa i wyróżniał się swoim „radosnym, energicznym i pogodnym” usposobieniem. Jednak w domu częstym problemem były pieniądze; Schwarzenegger wspomniał, że jednym z najważniejszych wydarzeń z jego dzieciństwa był moment, kiedy rodzina kupiła lodówkę.
Jako chłopiec uprawiał kilka dyscyplin sportowych, które w dużym stopniu były wymuszone przez ojca. Jak wspominał po latach ojciec chciał, by został policjantem, a matka, by poszedł do szkoły handlowej. W 1960 r. podniósł swoją pierwszą sztangę, kiedy trener piłki nożnej zabrał całą drużynę do miejscowej siłowni[3]. W wieku czternastu lat, zamiast piłką postanowił zająć się kulturystyką. Zaczął chodzić na siłownię w Grazu oraz do kina, gdzie na dużym ekranie mógł zobaczyć swoich idoli, takich jak: Reg Park, Steve Reeves i Johnny Weissmuller. Kiedy w 2000 r. zmarł Reeves, Schwarzenegger z czułością wspominał: „Jako nastolatek dorastałem ze Steve’em Reevesem. Jego niezwykłe osiągnięcia uzmysłowiły mi czego można dokonać, podczas gdy inni wokół nie zawsze rozumieli moje marzenia... Steve Reeves pozostanie częścią wszystkiego, co kiedykolwiek miałem szczęście osiągnąć”.
W 1971 r. w wypadku samochodowym zginął jego przyrodni brat Meinhard, który jak się okazało był pod wpływem alkoholu. Osierocił trzyletniego syna, Patricka oraz narzeczoną Erikę Knapp, z którą zamierzał się pobrać. Po jego śmierci Schwarzenegger płacił za edukację chłopca i pomógł mu wyemigrować do Stanów Zjednoczonych. Rok później z powodu wylewu zmarł Gustav. W udzielonym potem wywiadzie oświadczył, że nie wziął udziału w pogrzebie ojca, ponieważ ćwiczył do konkursu kulturystycznego. Później wspólnie ze swoim producentem filmowym powiedział, że zaczerpnął tę opowieść z historii innego kulturysty, by pokazać do jakich skrajności może dochodzić w tym sporcie, a przy okazji przedstawić zimniejszy obraz Schwarzeneggera. Barbara Baker, jego pierwsza poważna dziewczyna, powiedziała, że poinformował ją o śmierci ojca bez emocji i że nigdy nie mówił o swoim bracie. W międzyczasie podał przynajmniej trzy wersje, dlaczego nie był obecny na jego pogrzebie.
