陸軍軍楽隊の招聘教官（所謂『お雇い外国人』）として来日した仏軍軍楽教官シャルル・ルルー によって1886年（明治19年）に作曲された。

ルルーはこの行進曲を作るに先立ち、西南戦争における警察官部隊の活躍に題材をとった軍歌「抜刀隊」と、「大日本帝国天皇陛下に献ず」と註した<ref>堀内敬三『音楽五十年史』ISBN 4-06-158138-4(昭和52年6月10日講談社・講談社学術文庫)p.133</ref>「扶桑歌」という二つの曲を作っていた。

後にこの二つの曲がアレンジされて一つの行進曲となり<ref>江藤淳『南洲残影』ISBN 4-16-353840-2に編曲の経緯が詳しい。</ref>帝国陸軍の行進曲として使用された。

現在でも陸上自衛隊や警察の行進曲として使用されている。