"Железный" Арни родился в небольшом австрийском городке Грац. Уже с ранних лет стал увлекаться различными видами спорта - особенно в детстве его увлекал футбол, но стать великом футболистом ему было не суждено. После учебы ходил на тренировки, а вечерами - в кино, где любовался своими кумирами на экране. Его любимыми атлетами того времени были Рэг Парк и Стив Ривс, которые дали ему большой толчок что б заняться бодибилдингом. Ему хотелось стать таким же могучим атлетом как эти герои экрана. Бросив играть в мяч, Арнольд, еще будучи совсем юн, (тогда ему исполнилось лишь 13 лет) впервые пришел в тренажерный зал. По словам Арнольда, он сразу понял, чем будет заниматься всю свою жизнь, и он не прогадал!.
В возрасте 18 лет, Арнольд попадает в ряды австрийской армии, где получает специальность механика и водителя танка (официально эту должность могли получить только лица, достигшие 21 года). Еще, будучи в армии он находит время попробовать свои силы в конкурсе «Мистер Европа» (среди юниоров) и занимает первое место. Даже в тяжелых условиях армейской жизни, он умудрился найти время и место для тренировок с самодельной «штангой». Стоит отметить, что все это проходило на фоне многодневных тактических учений в полевых условиях.