北海道広尾郡広尾町に農業および広尾町議会議員・中川文蔵の子として生まれる。十勝農業学校（現・北海道帯広農業高等学校）、宇都宮高等農林学校（現・宇都宮大学農学部）を卒業し、1947年に九州大学農学部卒業。同年、農林省に技官として入省。卒業時に指導教授の推薦状を持参して、秘書として雇ってもらうべく革新系北海道知事田中敏文を訪れるも、アポイントを取っていたにも関わらずなかなか面会しようとしない田中にしびれを切らした中川は、推薦状を破り捨てて立ち去った。「沼さん（浅沼稲次郎）が死ぬまでは社会党支持だった」とも語っており、事と次第によっては左派陣営から世に出ていた可能性がある。入省後すぐに北海道庁へ出向となる。1951年、北海道開発庁が設置され、農林水産課開発担当官となり、1955年に、大野伴睦北海道開発庁長官の秘書官を勤め、大野に見出されることとなる。1963年、北海道5区から衆議院議員総選挙に出馬し、初当選。以後、連続当選7回。

田中内閣で大蔵政務次官に就任した後、1977年に福田内閣改造内閣で農林大臣（省庁改称のため、1978年7月5日より農林水産大臣）、鈴木善幸内閣では科学技術庁長官に就任した。

1973年には渡辺美智雄、石原慎太郎らと「青嵐会」を結成、若手タカ派として名を売った。福田赳夫に私淑し、後年は、福田と政治行動を共にする。1977年福田が総理総裁時代の自民党国民運動本部長として、かねてから保守派の活動通じ親交有った黛敏郎に新たに創設された党友組織自由国民会議初代代表就任要請し受諾された。1978年の自民党総裁選で福田が大平正芳に予備選で敗れた際は、本選挙で断固戦うことを主張し、福田内閣総辞職の際には署名を拒否する。1979年には石原、長谷川四郎、松沢雄蔵、長谷川峻らを結集して、自由革新同友会（事実上の中川派）を結成。1982年、鈴木善幸の後継を狙い、自民党総裁選にいち早く名乗りを上げるも予備選で最下位に敗れた。この時、田中角栄を訪ね「池の鯉は跳ねちゃ駄目か」と出馬について伺いをたてるも「跳ねたはいいが戻れなければ日干しだ」と諭されたことは有名。国会の敷地内で立ち小便しているところを写真週刊誌に撮影されたことがある。

1983年、札幌パークホテルのバスルームにて自殺。その死にはいくつかの疑問点があるとして、今もって議論されることがある。前年の総裁選での惨敗の影響が指摘され、総裁選後、睡眠薬を服用していたという。