ニューヨークにおける最初の本拠地は、マンハッタン島の最高地点に程近い165番通りと ブロードウェイの角に置かれた。これにちなんで、チームはニューヨーク・ハイランダーズに改名され、球場名もヒルトップ・パークと呼称された。なお、現在この球場の跡地にはコロンビア・プレスビタリアン病院が建っており、ヤンキースの選手が怪我をした際に訪れるケースが多い（に松井秀喜選手がヤンキー・スタジアムでの試合中に左手首を骨折した際もこの病院に運ばれた）。

ハイランダーズはリーグ2位にとの2回なったものの、最初の15年間のほとんどは最下位が定位置であった。球団運営上の問題点や、ハル・チェース一塁手らによる八百長の噂などがチーム状態を悪くしていった。

ハイランダーズにとっての最大のチャンスは1904年シーズンに訪れた。全体的に好調な一年を送っていたが、ジャイアンツのオーナーは、もしハイランダーズみたいな “マイナー級” のチームがワールドシリーズに進出してきたら、試合を拒否する、と明言。結局優勝は最終戦に持ち込まれ、対戦相手はボストン・アメリカンズ（1908年にレッドソックスと改名）であったが、ハイランダーズの投手ジャック・チェスブロのサヨナラ暴投によりアメリカンズが優勝。しかし、それでもジャイアンツは試合を拒否し、その年のワールドシリーズ開催は中止された。ワールドシリーズが行われなかったのはこの年とストライキによる影響の1994年の2回のみである。しかし、この時のメディアによる辛辣な批判を浴びたジャイアンツのオーナーはワールドシリーズ制度の枠組み作りに精力的に動く事になる。なお、この試合以後100年間に及びレッドソックスがリーグ優勝を決める試合でヤンキースに勝つ事はなかった。

にジャイアンツのホーム球場ポロ・グラウンズが火事で再建している際、ハイランダーズがヒルトップ・パークを貸し出しした事により両者の間で和解ムードが現れ始める。また、ハイランダーズはその縁もありホーム球場をに同じポロ・グラウンズに移転した。

1900年代初頭から次第にボストンの “アメリカンズ” に対して “ヤンキース” という愛称が次第に広まりつつあった。新聞王ハーストのニューヨーク・イブニング・ジャーナルでも4月14日の見出しに “ヤンキースがボストンを破る” とするなど、使用頻度も高まっており次第に定着しつつあった。結局1913年にチームがホーム球場をポロ・グラウンズに移転し、“ハイランダーズ (Highlanders)” としての正当性がなくなった事から、“ニューヨーク・ヤンキース”と正式に名称変更を行った。

1910年代半ばに、オーナーであるファーレルとデヴァリは、不仲となっており、加えて両者とも資金不足に陥っていた。よって、初頭に、球団はジェイコブ・ルパート大佐とティリンゴースト・ヒューストン司令官に売却された。ルパートはルパート醸造所の財産の相続人で、タマリーホールともかねてから関係があり、8年間連邦議員を務めていたルパートは後に「45万ドルで、際立った才能を持つ選手も無く、さして評価もされていない、おまけに自前の球場すらない孤児の球団を買ったよ」と述懐している。しかし、これでカネと意欲を持つオーナーと巡り合った事で、ヤンキースはルパートが予想だにしていなかった快進撃を始める事になる。