福岡県八幡市（現北九州市八幡東区）生まれ。福岡県立八幡高等学校を経て、東京大学入学。1971年、東京大学法学部政治学科卒業後、ヨーロッパ政治史を専攻の助手として研究室に入る。その後はヨーロッパに留学し、パリ大学現代国際関係史研究所客員研究員、ジュネーブ高等国際政治研究所客員研究員などを経て東京大学教養学部助教授。フランスの政治・外交を専門とし、国際関係論などを講じていた。1980年代末から『朝まで生テレビ!』などの討論番組に頻繁に出演し、テレビ映えする討論スタイルで脚光を浴びる。テレビ出演に引っ張りだこだった1989年6月に東京大学を退職しフリーに。1990年代にかけては東欧民主化や湾岸戦争で国際政治が注目され、また国内ではリクルート事件、消費税導入などを経て自民党体制が揺らぎ、やがて政界再編に突入、オウム真理教事件や少年犯罪など社会を揺るがす事件も増える中で、舛添に代表される新鋭の学者・評論家はテレビで大いに活躍、「文化人」と呼ばれる知的タレントとしてお茶の間の人気を博した。

政治とのかかわりでは、1991年、北海道知事選挙に、自由民主党から擁立されて立候補を検討。しかし、それまで北海道には何のゆかりもなく、知名度で担がれたため、出馬表明前の事前調査で現職候補・横路孝弘との圧倒的な差を見て、出馬を辞退した。その後も度々政界進出が噂されたが、後述の介護体験も一つのきっかけとなり、1999年4月には東京都知事選挙に無所属で出馬。石原慎太郎の圧勝の前に3位で落選したが84万票を獲得した。2001年7月、第19回参院選に比例代表区から立候補（自由民主党）し、1,588,862票を獲得しトップ当選。

2005年、自民党が結党50年に発表した憲法草案においては、党新憲法起草委員会の事務局次長として草案作成の取りまとめに大きな役割を果たした。そのことも評価され、2006年10月、安倍政権発足に伴い当選1回ながら自民党参議院政策審議会長に就任した。また、小泉政権末期で論議となった皇室典範改正論議では女系天皇容認の立場である。

高い知名度から議員となってからもテレビ出演の機会は多く、政府や党のスポークスマン的な役割も果たしている。2007年4月より、朝日ニュースター『政治学原論』のキャスターとして週1回ゲストと討論している。

2007年7月29日の第21回参院選では、再選を目指し自民党公認で比例代表区より立候補、与党への逆風の中で票を減らしたが、467,735票を獲得して自民党トップで当選した。選挙前後を通じて安倍内閣の閣僚や総理の政権運営を厳しく批判してきたが、2007年8月27日の安倍改造内閣において年金問題を始めとする多くの問題を抱える厚生労働大臣に任命される。記者会見では「年金支給漏れ問題」の解決に意欲を見せる。