旧国鉄のJRグループへの移行に際し、全国6つの会社に分割された旅客事業とは異なり、貨物事業は全国規模での営業を続けることとなり設立された、通称JR会社法に拠る特殊会社である。一方で北海道旅客鉄道（JR北海道）、四国旅客鉄道（JR四国）、九州旅客鉄道（JR九州）と同様、経営基盤が弱いことから、独立行政法人鉄道建設・運輸施設整備支援機構国鉄清算事業本部（発足当初は日本国有鉄道清算事業団）が全株式を保有するとなっており、現在までのところ株式上場の目途は立っていない。

設立の際、JR貨物自身が第一種鉄道事業者として保有する路線は必要最小限に抑えられた。一部の貨物専用路線はJR貨物が所有しているが、両端が旅客線に接続する貨物線や、旅客化する計画のある路線、廃止が決定している路線は、その地域を管轄する旅客鉄道会社が保有することとされた。そのため、JR貨物が列車を運行する路線のほとんどは、鉄道施設を保有する旅客鉄道会社の路線や、JR路線を転換した第三セクター鉄道路線の第二種鉄道事業者となっており、それらの会社に線路使用料を払って貨物列車を運行している。ただし、旅客鉄道会社に支払っている線路使用料は、「アボイダブルコスト」によって決められている。そのため、新幹線開業に伴う並行在来線区間の第三セクター鉄道転換では、使用料の上昇が生じ収益に影響を与える場合がある。

貨物列車の運行については、基本的に自社の乗務員や機関車を使って行っているが、路線によっては旅客会社の乗務員や機関車で運行する場合もある。また、以前は逆にJR貨物の乗務員や機関車で旅客列車を運行する場合も多数あった。旅客会社の客車をJR貨物の機関車が牽引していた例としては客車時代の夜行急行「ちくま」の名古屋駅 - 長野駅間や磐越西線、筑豊本線などがある。しかし、客車による定期旅客列車が少数の夜行寝台列車（ブルートレイン）を除いて消滅した現在は、一部の臨時列車や車両故障時の救援で運行される程度である。なお、関門トンネルを潜る下関駅 - 門司駅間を走行する客車列車の牽引をJR九州から受託しており、同社所属の機関車EF81形400番台の2両もJR貨物の門司機関区に常駐し、この区所が唯一通常運転でJR貨物の乗務員が旅客列車に乗務する運転区所となっている。

一方、貨物輸送量は、高速道路整備による大型トラックや、空港整備による航空機での貨物輸送の増加などの影響を受けて年々減少を続けていたが、近年は環境に負荷をかけないモーダルシフト政策により減少に歯止めがかかり、僅かながら増加に転じている。JR貨物では、貨物列車の増発やスピードアップ、IT-FRENS&TRACEシステムの導入、貨物駅のE&S方式への改良、M250系貨物電車の運行など、ソフト面・ハード面の充実でサービスアップを目指している。また中国の最大手海運企業である中国遠洋運輸 (COSCO) と提携を行って、「航空機より安く、コンテナ船より早い」をコンセプトにした国際複合一貫輸送「SEA&RAILサービス」を2006年3月から開始するなど、海外への事業進出も活発である。

1990年代に進んだ利用運送事業（フォワーダー）分野の規制緩和によって、顧客営業と荷主からの料金設定・収受の主体性が通運事業者をはじめとするフォワーダーに完全に移行。フォワーダーが荷主に提示する複数の輸送手段の一部分を事実上下請けの形で担うという、物流企業としては致命的ともいえる弱点・制約を抱える。JR旅客会社の施設を借り受けて貨物列車を運行するという脆弱性と合わせ、同社が今後経営安定化と株式公開を目指す上で、避けて通れない課題である。

近年のモーダルシフトの推進において、JR貨物の役割は非常に重要と言える。特に鉄道輸送では、貨物1tを1km輸送する際の二酸化炭素排出量が営業用トラックに比べて約8分の1と試算されている。