海頓出生於鄰接匈牙利國境的一個奧國小村羅勞。父親是車匠，兼任市場審判官。這個工作是把領主命令徵收的地租分配給每一戶，勸人為善，催促人們禮拜天上教堂。母親年輕時曾做過領主的廚師，父母親都很勤奮。

父親雖然不會看譜，卻很會彈豎琴，也很會唱歌。海頓一家人完成白天的工作後，時常圍聚在壁爐邊，愉快地合唱民謠。其中歌聲最優美的是年幼的約瑟夫（海頓的名字）。

父親的妹夫富蘭克，是維也納海恩堡學校的校長，也是教堂領唱者。這位姑丈很早就發覺海頓的才能，於是決定把六歲的海頓接去栽培。海頓就在姑姑家學習音樂，在合唱團中當歌童，也學習小提琴和鋼琴。

七歲時，著名的維也納聖史蒂芬教堂合唱長羅易達聽過海頓優美的歌聲後，設法讓他進入這個教堂的兒童合唱團，一直到十七歲變聲為止。

離開兒童合唱團後，海頓有時教兒童練習樂器，有時加入樂團拉小提琴。由於賺到的錢很少，過著極為貧窮的生活。在這種貧乏的日子裡，海頓仍舊勤奮地學習音樂，逐漸變成有名的音樂家。

一七五九年，海頓成為毛爾進伯爵團團長，一七六一年被聘為匈牙利貴族艾斯特哈基家樂團副樂長。

不久以後，海頓的名氣傳播到國外。艾斯特哈基侯爵去世後，海頓就離開他的宮庭，兩度訪問倫敦，大受歡迎。海頓在這兩次倫敦旅行中，發表十二首交響曲，包括被譽為海頓代表作的「驚鄂」、「軍隊」、「時鐘」等交響曲。

一七九五年，海頓又被艾斯特哈基家的新領主邀請，在前往就任樂長，但一八０四年就退休，一八０九年，海頓在維也納結束他七十七年生涯。這時的奧都正因拿破崙的入侵而陷入一片混亂中。