1924年、バトンルージュ近郊の小さな町、ロブデルに生まれる。少年時代はラジオから流れてくるブルースを聴き、ハーモニカをプレイするようになった。この頃の一番のアイドルは、ブラインド・レモン・ジェファーソンだった。

18歳のとき、家を出てニューオーリンズで港湾作業員として働くがすぐに故郷に戻った。地元では建設作業員として働いた<ref name="rhino">Liner notes to The Best of Slim Harpo (Rhino) by Todd Everett</ref>。一方、ジューク・ジョイントやクラブ、路上で演奏活動も展開し、ハーモニカ・スリムの芸名で親しまれるようになった。

1955年、エクセロ・レコードのアーティストだったライトニン・スリムが同レーベルのレコード・プロデューサー、ジェイ・ミラーに彼を紹介し、ライトニン・スリムのサイドマンとしてレコーディングに参加するようになった<ref name="amg" />。

1957年、同レーベルで初の自己名義のレコーディングを行う。レコード・デビューに際し、ハーモニカ・スリムというアーティストが既にカリフォルニアで活動していることをミラーから知らされ、芸名をスリム・ハーポに変更する。これは彼の妻ラヴェルのアイデアで、ハーモニカ・スリムという名前をもじったものだった<ref name="amg" />。

同年、デビュー・シングル"Got Love If You Want It"をリリース。以後、"Rainin' In My Heart"（1961年）、"Shake Your Hips"（1966年）、"Tip On In, Part 1"（1967年）、"Tee-Ni-Nee-Ni-Nu"（1968年）など次々とリリースを重ねた。特に1965年の"Baby Scratch My Back"は翌年、ビルボードのR&Bチャートの第1位という大ヒットを記録した<ref>Allmusic Charts & Awards: Slim Harpo</ref>。

1970年1月31日、まだ46歳と言う若さで心臓発作によって急逝した<ref name="amg" />。ライトニン・スリムとともに初のヨーロッパ・ツアーに出ることが決まった矢先のできごとであった。このツアー中には、イギリスのミュージシャン達とのレコーディングも予定されていた<ref name="rollingstone" />。

ハーポは、ルイジアナ州ポートアレンに埋葬されている<ref name="bluesonline">Blues Online: Slim Harpo</ref>。