大変な自信家で、気も強かったことから映画会社の首脳部と衝突することもたびたびで、事実、フォックス社を退社した時もその気性の荒い性格から助演格に落とされたのにスペンサーが怒り、結局は出演拒否したのが原因で解雇されたからであった。またその一面を象徴するエピソードとして、キャサリンが『女性No.1』に撮影中にキャサリンが初めて会った際、「私ちょっと背が高すぎるわね、って言いましたら、心配するな、じきに僕に合うように小さくしてやるよ、と言うんですよ」とキャサリンはのちに語っている。またクラーク・ゲイブルもスペンサーに対し「あいつはいいやつだ。この世界で彼にかなう奴はいないよ。彼と競争しようという奴はバカだ。あいつはそのことを自分でも知っているんだ。だから彼の謙遜した口ぶりにだまされちゃいけないよ」と語っている。

自信家の一方、演技者としての実力も誰もが認めるところで、その自然体の演技は内外を問わず多くの俳優に影響を与えた。親友のハンフリー・ボガートも「スペンスの演技は最高だった。彼がどう演じているのか、その仕掛けはまるで見えなかったからね」とコメントを残している。

スペンサーの死後、キャサリンは彼との思い出を次のように語っている。「スペンサーはいつでも、男が生活費を稼ぐための仕事としては、俳優というのはちょっと馬鹿げた仕事だって考えてたと思うわ。彼は古い樫の木のような人、あるいは夏の風のような人。いずれにしろ男が男だった時代の人だった」。またお互いの関係について「アメリカで理想の男性といえばスペンサーよ、私は意地悪いことを言ったり、彼をじらしたり、一杯食わせてみたり、女そのものを演じていたわ、でも、彼がホンキで怒ればすぐ降参だわ。男と女のロマンチックな理想の関係というのはこういうものなの」と語っていた。