山口多聞は、旧松江藩士の三男として、東京都小石川区で明治25年に誕生した。名前は楠正成の幼名である多聞丸から付けられた。

明治42年に開成中学を卒業、海軍兵学校40期に入学。同期に福留繁、宇垣纏、大西瀧治郎などがいる。明治45年に次席の成績で卒業し、少尉候補生となる。
1913年（大正2年）少尉任官。翌年5月、防護巡洋艦「筑摩」乗艦。大正4年中尉に昇進し、海軍砲術学校普通科学生となる。大正5年には海軍水雷学校普通科学生となり、12月に第3潜水艇隊付となる。

1918年（大正7年）、第二特務艦隊司令部付となり第一次世界大戦に参加、地中海での連合国艦船護衛の任に従事。大戦後、Uボート回航要員を経験した後、7月に駆逐艦「樫」乗組。12月、大尉に昇進。
1921年（大正10年）2月、アメリカ駐在武官となり、5月に帰国。6月、戦艦「長門」分隊長に着任。11月1日、河村敏子と結婚。12月、海軍潜水学校教官兼分隊長に着任。

1924年（大正13年）、少佐に昇進し、第24期海軍大学校甲種学生となる。1926年、第一水雷戦隊司令部付。12月、第一水雷戦隊参謀。1927年（昭和2年）11月、軍令部出仕。1928年（昭和3年）、中佐に昇進。

1929年（昭和4年）11月ロンドン海軍軍縮会議全権委員随行員となり、山本五十六と共に条約締結に強硬に反対している。1930年（昭和5年）7月、軽巡洋艦「由良」副長。11月、第一艦隊参謀兼連合艦隊参謀。1932年（昭和7年）9月20日、妻・敏子が三男を出産後に急死。その後、山本五十六の紹介で四竈孝輔の姪である孝子と再婚した。11月、海軍大学校教官。12月、大佐に昇進。

1934年（昭和9年）6月、在アメリカ合衆国大日本帝国大使館付武官として着任。