1882年、旗艦扶桑以下11隻の軍艦で初の常設艦隊である「中艦隊」を編成、1885年には固有名称を有する「常備小艦隊」（扶桑以下8隻）に再編成され、1889年には常備艦隊（浪速以下6隻）へと改編された。

日清戦争前の1894年には旧式艦や小型艦からなる「西海艦隊」（編成時名称は警備艦隊）が編成され、常備艦隊と西海艦隊を合わせた「連合艦隊」が設立された。

また、艦隊の根拠地として鎮守府が設置された。まず1876年に東海鎮守府が横浜に仮設され、1884年には横須賀に移転・横須賀鎮守府となった。1889年に呉鎮守府と佐世保鎮守府、1901年には舞鶴鎮守府が設立された。鎮守府の直轄組織として造船所を主体とした軍需工場である海軍工廠が置かれた。