「征夷」とは、「夷を征討する」の意味。征夷大将軍は、「夷」征討に際し任命された将軍の一つで、太平洋側から進軍する軍隊を率いた。日本海側を進軍する軍隊を率いる将軍は征狄大将軍、九州へ進軍する軍隊を率いる将軍は征西大将軍と呼ぶ。これは、「東夷・西戎・南蛮・北狄」と呼ぶ、中華思想の「四夷」をあてはめたためと思われる。

なお、当初は「征夷」と呼ばれていたが、宝亀以降「征東」となり、延暦12年以降再び「征夷」となる。「征夷将軍」の初見は、養老4年9月28日に任命された、多治比縣守であり、「征東将軍」の初見は、延暦7年12月7日に辞見した紀古佐美である。将軍の名称は、記録上あまり統一されておらず、例えば藤原宇合の場合は、任命時は「持節将軍」であり、帰京時は「征夷持節大使」となっている。

延暦10年（790年）7月13日に、大伴弟麻呂が征東大使に任命された。延暦12年（792年）2月17日に、征東使を征夷使と改めた。「大使」はまた「将軍」とも呼ばれていた。日本紀略には延暦13年（794年）1月1日に征夷大将軍の大伴弟麻呂に節刀を賜うたとある。

大伴弟麻呂に代わって実質的に戦争を指揮した征東副使・征夷副使の坂上田村麻呂は、延暦16年（797年）11月5日に征夷大将軍に任命された。坂上田村麻呂はそれまで頑強に戦ってきた胆沢の蝦夷の阿弖流為を京へ連れ帰り、東北全土を平定した。その後文室綿麻呂が、蝦夷との交戦に際して弘仁2年（811年）4月17日に「大」なしの征夷将軍に任命され、同年 閏12月11日 蝦夷征伐の終了を奏上、鎮守将軍（府なし）には副将軍だった物部足継が昇格、しかし、弘仁5年（814年）11月17日には、また「大」なしの征夷将軍に復帰している。

なお、征夷大将軍の下には征夷副将軍、征夷軍監、征夷軍曹などの役職が置かれた。