理事会の決定に基づいて各地の総局・鉄道管理局を総括的に管理した。本社部局として14局3部5室を置き、ほかに公安本部、総合人事委員会、監査委員会事務局を置いた。また付属機関として鉄道技術研究所、中央鉄道学園、在外事務所（ニューヨーク、パリ）など9機関を置いた。1985年3月20日の組織改正で、本社部局の新幹線建設局が建設局に、工作局が車両局に、付属機関の車両設計事務所が車両局（設計課）にそれぞれ統合された。