〈日中戦争〉
1936年（昭和11年）軽巡洋艦「五十鈴」艦長。1937年（昭和12年）7月には、日中戦争が勃発。12月に戦艦「伊勢」艦長。1938年（昭和13年）少将に昇進、軍令部出仕。12月第五艦隊参謀長。1939年（昭和14年）12月戦艦「長門」乗艦。

1940年（昭和15年）第一連合航空隊司令官を拝命し、中国の重慶爆撃を開始する。護衛戦闘機がないまま爆撃を強行したため大きな犠牲を出したが7月中旬、正式採用前の十二試艦上戦闘機（零戦）が漢口に進出し、瞬く間に目覚ましい戦果を上げた。
同年11月1日、第二航空戦隊司令官に着任。1941年（昭和16年）、日本海軍は第一航空艦隊（司令長官南雲忠一中将、参謀長草鹿龍之介少将、参謀源田実中佐他）を新編、第二艦隊所属だった第二航空戦隊も、第一航空艦隊に編入された。

〈真珠湾攻撃〉
山口の第二航空戦隊（旗艦「蒼龍」）は、引続き第一航空艦隊に所属して真珠湾攻撃作戦に参加。山口は朝も夜も航空部隊に猛訓練をさせて事故が多発し、気違い多聞、人殺し多聞と呼ばれた。
真珠湾攻撃は成功し、大戦果を収めた。山口は攻撃後、「第二撃準備完了」と信号した。機動部隊指揮官（南雲）が再攻撃準備を命じたまま攻撃を下令しないので、催促したという見方もある。

〈ミッドウェー海戦〉
ミッドウェー作戦を知った山口は、準備期間が短く搭乗員の練成などが間に合わないことを理由に源田実中佐とともに反対したが、山本五十六以下連合艦隊司令部は聞く耳を持たなかった。
6月上旬、ミッドウェー作戦に二航戦司令官（旗艦「飛龍」）として参加した。6月5日、南雲機動部隊から発進した第一攻撃隊がミッドウェー島基地を攻撃中、敵空母部隊を発見。山口少将は一刻を争う状況と判断して、現装備の陸用爆弾のままですぐに攻撃隊を発進させるように具申したが、南雲司令官は、帰還した攻撃隊の収容を優先させ、雷装への兵装転換を命じた。

第二次攻撃隊発艦準備中、南雲機動部隊は敵の急降下爆撃機の奇襲により、空母3隻（赤城、加賀、蒼龍）が大破、炎上する。
山口は次席指揮官である阿部弘毅少将の命令を待たず、航空戦を敢行。敵主力空母ヨークタウンを大破（後、潜水艦「伊一六八」により撃沈）。しかし、敵機の攻撃を受けて空母飛龍は飛行甲板を破壊され、発着艦不能となった。その後、総員退艦の命令が出されたが、山口と飛龍の艦長は艦と運命を共にした。

山口は昭和17年6月5日付で海軍中将に進級した。「飛龍」に掲げられていた山口の少将旗は、広島県呉市の呉市海事歴史科学館に展示されている。