警察予備隊創設当時の総理大臣吉田茂にも、旧陸軍に対する反発があり、警察予備隊創設に当たって、国会で「警察予備隊創設の目的は、国内の治安維持のためである。軍隊にあらず」と答弁した。この際、当時の世論を大きく占めていた陸軍悪玉論に基づき、将官クラスの旧陸軍軍人は、ほとんど関与しておらず、大半は旧内務官僚により創設された。

創設当初は陸軍士官学校出身の元正規現役将校の入隊は認められず、警察予備隊幹部は、警察を含む内務省等の文官や旧陸軍の幹部候補生出身者からなり、警察予備隊の結成以後、矢継ぎ早にアメリカ陸軍からさまざまな兵器の供与を受けたが、警察出身者や文民出身者では、部隊の指揮統率や兵器に関する教育は不可能であった。そこで、アメリカ軍事顧問団により初期の教育を受け、アメリカ陸軍式の編制・組織になった（最たる例は敬礼や気をつけ、行進などの基本教練においても旧軍式から米陸軍式となった。但し脱帽時には挙手の敬礼を行わないなど完全に米陸軍式となったわけでもない）。また、アメリカ側も大日本帝国陸軍の復活を懸念し、ラッパ譜に至るまで旧日本陸軍のものの使用を禁じた。

警察予備隊の総隊総監（後の、保安庁第1幕僚長、防衛庁陸上幕僚長に相当する。）には林敬三が充てられた。林敬三は、後に第1幕僚長や統合幕僚会議議長を歴任し、総隊総監・第1幕僚長として4年、統合幕僚会議議長としてさらに10年の計14年の長きに渡り自衛隊の制服組トップに君臨した。各自衛隊は発足の経緯から、いずれも初代幕僚長に官僚出身者を迎えたが、海自・空自が初代のみで終わったのに反し、陸自は戦中派出身の陸上幕僚長19名の内、内務官僚出身者が5名もおり、陸自が「内務軍閥」と言われる元となった。

もっとも、戦車が供与されるに到って、1951年（昭和26年）に中佐（副連隊長級）以下の陸軍士官学校出身者の入隊が認められたが、大佐（連隊長級）以上の入隊は認められなかった。しかし1952年（昭和27年）7月、保安庁保安隊への組織改変を前に、軍事的専門性をより高めるために、旧陸軍省や参謀本部において大東亜戦争の指導的立場にあった、元陸軍大佐10人、元海軍大佐1人の入隊が認められた。

1957年（昭和32年）に、初の防衛大学校（保安大学校）出身の隊員が入隊する。その後は、順次防衛大学校出身の幹部が増加していった。1986年（昭和61年）3月に中村守雄陸将（元陸軍航空士官学校第61期生徒）が退職したことにより、陸上自衛隊における旧陸軍士官学校出身者は皆無となった。

近年は災害派遣、海外派遣など活動範囲を広げ、国内外で注目を集めている。また、自衛隊そのものの活動ではないが、カンボジアにおいて、元陸自隊員の立ち上げたJMASが地雷不発弾処理を行い、成果を挙げている。

アメリカ陸軍の陸軍最先任上級曹長（Sergeant Major of the Army）制度や海上自衛隊の先任伍長制度を参考に、2006年（平成18年）4月1日には、陸上幕僚監部に「陸上自衛隊最先任上級曹長」を置いて、准陸尉・陸曹階級の能力活用にも取り組んでいる。（詳解は曹士の能力活用の項）