1847年に現在の鹿児島県で生まれる。
慶応元年（1865年）、五代友厚らとともにイギリスに密航、留学し（薩摩藩第一次英国留学生）、ロンドンで長州五傑と会う。その後、ロシア帝国を旅行し、さらにローレンス・オリファントの誘いでアメリカにも渡り、オリファントの信奉する新興宗教家トマス・レイク・ハリスの教団「Brotherhood of the New Life」と生活をともにし、キリスト教に深い関心を示した。また、アメリカの教科書を集める。
明治元年（1868年）6月帰国。
7月25日外国官権判事に任じられた。22歳で高官になり月俸200円を給されていたが、30円で十分だと、9月10日、鮫島尚信と共に、自分たちの「減俸嘆願書」を上申した。
1872年2月3日、アメリカ駐在少弁務使としてアメリカの有識者に日本の教育について意見を求める（その返書を1873年『Education in Japan』（『日本における教育』）として刊行）。
1872年11月25日、ワシントンで『Religious Freedom in Japan』（『日本における宗教の自由』）を発表。
明治6年（1873年）夏、帰国すると福澤諭吉・西周・西村茂樹・中村正直・加藤弘之・津田真道・箕作麟祥らと共に明六社を結成する。
明治8年（1875年）、東京銀座尾張町に私塾・商法講習所（一橋大学の前身）を開設する。
同年2月6日、福澤諭吉が証人となり、幕臣広瀬秀雄の娘広瀬常との結婚に際して3か条を交換して婚姻契約書に署名し結婚した
明治18年（1885年）12月22日、第1次伊藤内閣の下で初代文部大臣に就任し（死没日まで）、東京高等師範学校（東京教育大学を経た、現在の筑波大学）を「教育の総本山」と称して改革を行うなど、日本における教育政策に携わる。
明治22年（1889年）2月11日の大日本帝国憲法発布式典の日、それに参加するため官邸を出た所で国粋主義者・西野文太郎に短刀で脇腹を刺された。応急手当を受けるが傷が深く、翌日午前5時に死去。43歳だった。
当時の新聞が、「ある大臣が伊勢神宮内宮を訪れた際、社殿にあった御簾をステッキでどけて中を覗き、土足厳禁の拝殿を靴のままで上った」と報じ（伊勢神宮不敬事件）問題となった。この「大臣」とは森のことではないのかと、急進的な欧化主義者であった森に人々から疑いの目が向けられる事となった。この事件は事実かどうかは定かではないが、この一件が森が暗殺される原因になった。木場貞長はのちにこの事件は事実無根であると書き残している。
