II. Lipót rövid ideig uralkodott, viszont igen sok gyermeket nemzett. Többek között József nádort, aki fél évszázadig működött igen áldásosan Magyarország nádoraként. Ő alapította a Habsburg-ház magyar ágát. Unokáját, József főherceget magyar nyelven, magyar tanítók, magyar identitásban nevelték, és ő ezzel egész életében lelkesen azonosult. A család számos birtokkal és kastéllyal rendelkezett, de az alcsúti volt a bázis, az otthon. Itt született József Ágost, az alcsúti kastély hatalmas parkjában játszott a parasztgyerekekkel. Itt adtak nyolcéves korában fegyvert a kezébe. Gyerekkorától szenvedélyes vadász volt. Már gyerekkorában egyedül járta a vadont esőben, fagyban. Szívós, tűrőképes, bátor katonának nevelték. Apja, József Károly Lajos főherceg is az volt, a magyar hadsereg főparancsnoka. Ahogy a nagybátyja a nagypapája örökébe lépett nádorként, úgy lépett volna József főherceg apja örökébe a magyar hadsereg főparancsnokaként. Így volt ez kitalálva, de nem egészen így lett.

Mindenesetre 18 éves korában az ifjú főherceg belépett a hadseregbe. Ragaszkodott hozzá, hogy ne a közös, hanem a magyar hadsereg kötelékében szolgáljon. Villámgyorsan haladt fölfelé a ranglétrán, nyilván nem függetlenül a származásától. Harmincéves korában már őrnagy, harmincöt éves korában már tábornok és hadosztályparancsnok. Közben jogi tanulmányokat folytatott a budapesti Pázmány Péter Tudományegyetemen. Mindenféle kitüntetést kapott, az Aranygyapjas-rend, a Fekete Sas-rend lovagjává ütötték, és a Katonai Mária Terézia-rend parancsnoki címével is megtisztelték. A bajor Szent Hubert érdemrendet a rossz nyelvek szerint azért kapta, mert elvette a nem túl szép és nem túl karcsú Auguszta hercegnőt, Ferenc József unokáját.

Altábornagyként majd vezérezredesként végigharcolta az első világháborút, és ekkor emelkedett az ország legnépszerűbb férfiúi közé. Hadosztály- és hadtestparancsnokként harcolt Szerbiában, Galíciában, a Kárpátokban és a sok-sok véres isonzói csatában.

A legsikeresebb és legnépszerűbb parancsnokok közé tartozott. Közelről követte az eseményeket és mérte fel a körülményeket. Járta a lövészárkokat, közvetlenül kommunikált a honvédekkel. Kétszer könnyebben meg is sebesült. Közvetlen stílusa, személyes bátorsága, a beosztottaival szembeni felelős magatartása miatt általános megbecsülésnek örvendett. Rengeteg kitüntetést kapott, és a lapok sűrűn írtak a főherceg és csapatai hősies helytállásáról, és arról is, hogy Auguszta főhercegné milyen odaadóan ápolja a sérült katonák testét, lelkét.

József főherceg nevéhez fűződik az 1916. június 29-én a doberdói fennsíkon végrehajtott szörnyű gáztámadás, amely 5-6 ezer halálos áldozatot követelt. A harci gázok bevetését a hadi jog szigorúan tiltotta, mindazonáltal mindkét oldalon éltek vele. József főherceg visszaemlékezéseiben így mentegetőzött:

„Megértettek vagy meg fognak-e valaha érteni engem, hogy mit akartam az eszközök legborzasztóbbikával, legszörnyűségesebbikével elérni??? Be fogják-e látni, hogy kétségbeesésemben nyúltam ehhez, hogy annyit és oly borzasztóan meggyötört, halálosan megsanyargatott szeretett véreimet, hű bajtársaimat és hőseimet valamiképpen az újabb gyötrelmektől, véres pusztulástól legalább egy időre megóvjam.”

A főherceg részletes naplófeljegyzésekben rögzítette világháborús tevékenységét. Ennek alapján írta meg és publikálta 1926 és 1934 között emlékiratait A világháború, amilyennek én láttam címmel, hét kötetben. Az akadémiai székfoglalóját is azzal intézte el 1921-ben, hogy részleteket olvasott fel a naplójából. Például ezt az Uzsoki-hágón való átkelésről:

„Egy pokróczba begöngyölöm magamat és ledőlök a szénára. E veszélyes nagy vállalkozásra Istennek ajánlva mindnyájunkat, az ős bükkös csendes susogása mellett hamar mély álomba szenderültem. Zúgva orgonázik, nyikorogva siránkozik az erdő és dülöngélve tombol a vihar; a fák koronáit csavarja, ide-oda rángatja, míg a holdnak sugarai kétségbeesetten egyik törzsről a másikra ugrálnak, mintha oltalmat keresnének a vadul hadakozó szélvész ellen. Hosszú, nehéz felhősorok, akár csak megvert hadseregek, rohannak az égen tova, és ha fölénk érnek és nagyon sötét lesz, akkor hó száll arczomra és mind jobban csípi. Valaki mégis csak tüzet rakatott. A lángok vadul lobogva majd leborulnak, majd magasra csapnak, a vihartól veretve. ‘Fiúk! az Isten áldjon meg jóakaratotokért, de hagyjátok a tüzet kialudni, mert nem tudjuk, hogy honnét les bennünket a muszka.’ Vastag hóréteg fekszik rajtam, lerázom s megpróbálok újra elaludni, hisz még csak egy óra van; de vizes, hideg lábaim határozottan tiltakoznak e szándék ellen.”

Volt érzéke az íráshoz, vadásztörténeteket, útleírásokat is publikált.

Első politikai ütközetét 1916-ban vesztette el, amikor Ferenc József meghalt, és IV. Károlyt megkoronázták. Előírás szerint a nádornak, akadályoztatása esetén a nádorhelyettesnek kellett a király fejére tenni a koronát. A kiegyezés óta azonban nem volt nádor, sem helyettes. A kormánytábor Tisza István miniszterelnököt kívánta nádorhelyettesnek minősíteni, az ellenzék pedig József főherceget. A kormánytöbbség döntött a kérdésben, József főherceg pedig jól összeveszett Tiszával, nem is ment el a koronázásra, inkább a csapataival maradt. Az Est így érvelt a főherceg ellen:

„És hiba történt József főherceg személyével szemben is, akiért, különösen a háborúban tapasztaltak óta, minden magyar ember rajong és akit határtalan hódolattal és szeretettel övez körül az egész nemzet. Az ő személyét nem szabad taktikai célokra felhasználni. És hiba történt, hogy a népképviselet demokratikus szellemű kiterjesztésének idején parlamenti vezérek a nemzet választottjául nem a népképviselet köréből való férfiút akarnak a koronázáshoz elküldeni, hanem az uralkodócsalád egy tagját, egy főherceget, aki mellesleg megjegyezve aktív katona is, óhajtanak ezzel a tisztséggel megbízni. Ez nem demokratikus és közjogunk szellemével sem egyezik.”

Andrássy Gyula viszont – többek között – arra hivatkozott, hogy amikor a koalíciós kormány regnálása idején felmerült a nádori tisztség visszaállításának a lehetősége, maga ­Wekerle miniszterelnök szögezte le, hogy József főhercegnek kell lennie a nádornak.

Amikor a világháború végén a monarchia összeomlóban volt, IV. ­Károly a Magyarországon legkedveltebb Habsburgot, József főherceget bízta meg homo regiusként, a király teljhatalmú megbízottjaként azzal, hogy kiutat keressen a válságból. A főherceg (és a király) mindent megpróbált, hogy ne Károlyi Mihály legyen a megoldás. Az egyik változat az volt, hogy a főherceg lesz a miniszterelnök, és az ő kormányába lép be Károlyi. A fővárosban egyre nőtt a feszültség. Egyre nagyobb és hevesebb tömegdemonstrációk zajlottak. Károlyi és József főherceg együtt tárgyalt Bécsben a királlyal. A tárgyalások nem vezettek eredményre. 1918. október 27-én hatalmas tömeg várta a pályaudvaron a Bécsből hazaérkezőket. Károlyit óriási lelkesedéssel üdvözölte és az ország élére követelte a tömeg, a főherceget és feleségét pedig a hátsó bejáraton lopták ki a pályaudvarról. Másnap a Várba, a főherceg Szent György téri palotájához igyekvő tömeget halálos áldozatokat is követelő sortűzzel oszlatták szét a Lánchídnál. A főherceg még ekkor is megpróbálkozik Károlyi megkerülésével, és – a király hozzájárulásával – Hadik Jánost nevezi ki miniszterelnöknek.