明治42年（1909年）3月、山口は開成中学校を卒業した。当時の開成の卒業者は海軍兵学校に進学する者が多く、兵学校の予備校的な存在となっていた。
山口多聞は中学校在学中に一度受験をしているが、視力検査で引っ掛って落第している。

卒業時に兄の張雄に宛てた手紙で、「今一度軍医に見てもらい、だめなら一高を受けます。未来の東郷になる。それでなければビスマルクになります」と書いている。
軍人になれなけば、外交官を目指すというのだ。開成中学校は当時から外国語教育に力を入れていた。後に駐在武官として米国に赴任する際には、その英語力が役に立ったであろう。

ビスマルクはプロイセンの宰相としてドイツの統一を果たし、「鉄血宰相」の異名を持つ人物だ。身長は約190cm、体重は約100kgを超える堂々とした体躯で、大食漢として知られた。特に卵が好きで一度の食事で15個食べることもあったという。ステーキに半熟の目玉焼きを乗せて食べる事を好んだ為、茹でアスパラガスやピザなどに目玉焼きを乗せたものを今日では「ビスマルク風」と呼ぶようになった。

山口は同年9月、海軍兵学校弟40期生として見事に合格。ミッドウェー海戦で運命を共にする飛龍艦長の加来止男は弟42期の後輩だ。
明治45年9月、山口は海軍兵学を次席で卒業し、士官候補生として練習艦「宗谷」に乗艦。遠洋航海の後、12月付けで少尉に任官した。