ブライアンはビートルズのアルバム『ラバー・ソウル』に衝撃を受け、対抗心を燃やした。そして、当時ポップ・ミュージックとしては珍しい完全なコンセプト・アルバムを作ることを考えた。これが『ペット・サウンズ』である。 このアルバムはそれまでの彼らのイメージとはかけ離れていたために、契約していたキャピトル・レコードから敬遠された。また、保守的な米国のファンにはなかなか受け入れられなかった。全米チャートでは10位にランクインし、早々に50万枚を売り上げたが、それまでの作品に比べて売上の伸びない状況に不満を感じたキャピトル・レコードは、ペット・サウンズの発売後すぐに、それまでのヒット曲を集めたアルバム『ベスト・オブ・ザ・ビーチボーイズ』を発表した。ベスト盤は瞬く間に100万枚を売上げ、ペット・サウンズよりもヒットしてしまう結果となった。この事実にブライアンは酷く傷つき、その傷はその後長くブライアンを蝕むことになる。 しかしイギリスでは米国の反応と異なり好評であり、アルバムは全英初登場2位記録し、シングルがヒットチャート上位にランクインする結果となった。また、元ビートルズのポール・マッカートニーや、ザ・フーのピート・タウンゼント、クリームのエリック・クラプトンが好きなアルバムとして挙げるなど、一部には理解者がいたが、このアルバムの価値が一般に認められるには、その後かなりの時間が必要だった。

スタジオでの完全主義ゆえに彼は『ペット・サウンズ』以上の作品を作り出さなければならないという強迫観念に駆られ、ビートルズの『サージェント・ペパーズ・ロンリー・ハーツ・クラブ・バンド』の録音と期間が重複していた『スマイル』の制作中にノイローゼになった。一日の大半をドラッグとアルコールに依存するようになったブライアンは、アルバム内の曲「エレメンツ」録音時にスタジオ内で消防士の格好をしたり、キャピトルの重役夫人を悪魔呼ばわりしてその重役のスタジオ入りを拒否したり、奇行が見られるようになった。また、スタジオでのエフェクトに凝り始めたブライアンとグループの持ち味であるボーカル・ハーモニー路線を支持したマイクを始めとする他メンバーとの方向性に対する対立も深まった。モジュラー・レコーディングといういくつかの（実際には、中間部が異なる各曲数十テイクに及ぶ）テイクの断片を組み合わす方式は、編集段階でもさらに精神的混乱を巻き起こした。『スマイル』はキャピトル・レコードの再三のリリース要求にもかかわらず結局完成せず、1967年5月にキャピトルはこのアルバム発売をキャンセルした。キャピトル・レコードは、アルバムをリリースさせるために、レコーディングの途中にもかかわらずジャケットを印刷してプレッシャーを与えようとしていたが、大半が破棄された。

『スマイル』用の曲のうちのいくつかは『スマイリー・スマイル』に収録されたが、そのバージョンは厳密には『スマイル』録音時のテイクではなく、ブライアンがドロップアウトした後に他のメンバーが手早くでっち上げた断片や残骸とでもいうべきものであった。当然、40年後にアウトテイクも含んだ形で発表されたボックスセット『グッド・バイブレーションズ・ボックス』に収録された同名の曲たちとは比べものにならない完成度で、「英雄と悪漢」、「グッド・ヴァイブレーション」（1966年ビルボードシングルチャート全米No.1）といった傑作曲が収録されたものの、『スマイリー・スマイル』の評価は惨憺たるものであった。ブライアンが『スマイル』を放棄した後、残りのメンバーが作り上げた『スマイリー・スマイル』は彼らが嫌ったサイケデリック色の強いアルバムとなったのは皮肉な結果であった。

ブライアンの精神状態の悪化や事実上のドロップアウトにもかかわらず、バンドはさらに活発に活動を続けた。『ワイルド・ハニー』『フレンズ』『20/20』までの作品をキャピトル・レコードで発表した。 ただし、ブライアン以外のメンバーも平穏な生活を送っていたわけではない。この時期デニスは、後に女優シャロン・テート惨殺事件を起こすチャールズ・マンソンと共同生活を送った上に、楽曲の共作までおこなっている。これは事件後スキャンダルとなった。