1965年9月、阿南市宝田町の餡屋の息子として生まれる。

1972年7月、阿南市立宝田小学校1年時に、少年野球チーム・宝田ダックスに入部。1976年、小学5年時から投手になる。阿南市立阿南第一中学校卒業。

池田高校時代は、1982年、1983年の全国高等学校野球選手権大会、1983年の選抜高等学校野球大会と3大会連続甲子園に出場。82年夏・83年春における史上4校目の「夏・春連続制覇」、1983年夏のベスト4進出の中心選手として活躍した。83年春・夏はエース・4番として出場、その風貌から「阿波の金太郎」と呼ばれた。82年の夏の選手権ではレフトとして出場、中軸を打ち、優勝に貢献した。荒木大輔を擁する早稲田実業学校との準々決勝では、終盤に満塁本塁打を放った。この試合で甲子園初登板も果している。翌83年夏のでは史上初の夏春夏の3連覇を目指して、全国大会に出場。準々決勝の中京戦での野中徹博との投手戦は、1980年代を代表する好ゲームとしてファンに記憶されている。準決勝では桑田真澄・清原和博のKKコンビいるPL学園に7対0で屈した。清原からは4三振を奪うも、桑田には左翼スタンドへの特大の本塁打を喫している（このときの桑田の本塁打が水野の甲子園での初被弾である）<ref></ref>。

• 池田高校で優勝した際、テレビで同校の特集番組が組まれた。当時蔦文也監督の指導により、選手の上半身強化が徹底されており、水野が重いバーベルを軽々持ち上げ、後輩部員に「これぐらい持てんとホームラン打てへんのやでぇ」と豪語したり、練習終了後は近所のドライブインで、牛ステーキ、豚カツ食べ放題と言い放つ姿が放送された。

1983年のプロ野球ドラフト会議1位で読売ジャイアンツに指名され入団。当時のエース・江川卓と投球フォームが似ていたことからか、背番号は江川の続番である「31」となった。1986年には一軍に定着して8勝をマーク。王貞治監督時代の1987年には10勝をあげ、リーグ優勝に貢献した。藤田元司、長嶋茂雄両監督時代は中継ぎ、抑えとして活躍。オープン間もない東京ドームで開催された1988年のオールスターゲーム第3戦で、延長12回に代打として登場し、サヨナラ犠牲フライを放った。1996年限りで退団。1997年にはメジャーリーグ入りを目指して、ドミニカのウィンターリーグに参加し、日本人初の勝利投手となった。

• 現役時代の1985年に門限過ぎの飲酒を『フォーカス』に掲載された。故障療養中でしかも未成年の時点での不祥事ということもあり、謹慎処分を受けた。槙原はこの時にも何度か「おーい、生きてるか？」と茶化した。
• 水野より1歳上で同じく高校3年で読売ジャイアンツにドラフト1位で指名されプロ入りした斎藤雅樹は1989年、1990年連続20勝記録したが、両年とも20勝目を挙げた試合は水野がセーブを記録した。
• 入団当初はワールドペガサスの用具を使用していたが、のちに名前と同じミズノに替えている。
• 1990年5月24日のナゴヤ球場での対中日ドラゴンズ戦で槙原がバンス・ローに頭部付近投球を与えた際乱闘になり、その乱闘を止めに入った水野が星野仙一に殴打された。

引退後は、フジテレビ・ニッポン放送・スポーツ報知の解説者を経て、1999年、巨人に投手コーチとして復帰し、2001年退団。現在は日本テレビ、アール・エフ・ラジオ日本、スポーツ報知野球解説者。RFラジオ日本で日曜夕方に放送中の『サンデージャイアンツプライド』のMCを担当している。

• 投手コーチ時代、年上の現役選手工藤公康からは「水野ちゃん」と呼ばれていた。同じく年上の槙原寛己は茶化す意味でワザと「水野コーチ」と呼んでいた。
• TVなどの解説活動での一人称は主に「私」と称するが、「わたし」ではなく「わたくし」と呼んでいる。

2007年より静岡県西部自動車学校のCMに出演している（静岡及び東海地区ローカル）。父親が静岡県出身であること、さらに親族が当校の講師をしていることから起用された（このCMには、親族自身も出演している。）。このCMが第24回地方CM大賞に選ばれた。