1968年9月23日、山形県東根市に生まれる。実家はパン屋。斜向かいに映画館があり、小学生の頃の夏休みや冬休みには映画館の中で一日中遊んでいたという。山形県立楯岡高等学校を2年生の時に中退し上京、映画監督を目指して神奈川県にある日本映画学校に入学する。1990年に日本映画学校卒業、演出助手として勤め始めるが、後にフリーターを経て執筆活動を行うようになる。

1994年、「アメリカの夜」（原題「生ける屍の夜」）で第34回群像新人文学賞小説部門受賞しデビュー。同一人物である語り手と主人公が分裂し、小説内で絶えず自己言及をしていくという設定の作品であり、作品冒頭では柄谷行人の評論『探究I』のパロディーを行った。同年の第111回芥川龍之介賞候補、翌年の第8回三島由紀夫賞候補ともなった。続けて1995年、「ABC戦争」「公爵夫人の午後のパーティ」を発表。特に初期の作品は蓮實重彦などの文芸評論の影響が強く、対談などでもしばしばそのことを言及している。1996年、『カイエ・デュ・シネマ・ジャポン』の編集委員となり、以降映画評論にも携わる。

語りが4重の入れ子になった小説「ヴェロニカ・ハートの幻影」をなどを経て、1997年、「インディヴィジュアル・プロジェクション」を発表、第10回三島賞候補となる。スパイ養成所出身者の日記という設定で、理論性とエンターテインメント性を両立させ、当時の新進作家を示す「J文学」のキーワードとともに話題となった。また、キャミソールとパンティーのみを装着した風俗嬢をモデルに使用した、常盤響によるエロティックな装幀も注目される。後にこの装幀は、『PRIVATES GIRLS』というアダルトビデオのパッケージでパロディーされた。しかし、阿部も常盤も「引用されるとは痛快だ」と、楽しんでいたという。

1998年、ストーカーを扱った「トライアングルズ」で第118回芥川龍之介賞候補。同作品を収録した短編集『無情の世界』で1999年、第21回野間文芸新人賞受賞。しかしこの時期まで文学賞の受賞はこれのみで、評論家からの評価や話題性に反し受賞が少ないことから「無冠の帝王」などとも言われていた。