京都市右京区鳴滝泉谷町に生まれる。第二次世界大戦末期、京都師範付属国民学校（現・京都教育大学附属小学校）を経て、湯川秀樹によって当時構想された、科学者養成のための英才集団特別科学学級で教育を受けた。当時としては珍しく、戦時中に英語教育を実践していたと云われる。同窓に日本画家の上村淳之がいる。中学生の時に父親は死去する。京都府立第一中学校（現・京都府立洛北高等学校）に入学。同窓に共同通信労組の林直久がいた。その後、愛媛県松山市へ移り、愛媛県立松山東高等学校に転入。ここで大江健三郎と知り合う。その後、二度落第して愛媛県立松山南高等学校に転入。同校を卒業したが、大学を受験して失敗したため、東京へ行き新東宝編集部を経て商業デザイナーとなる<ref>「明朝体を書かせたら日本一といわれ、その才能は後の映画のタイトル作りにも活かされた」日本映画専門チャンネル特別番組『13の顔を持つ男・伊丹十三の軌跡』より</ref>。