公元179年出生
建安十三年曹操辟司马懿为文学掾。历任黄门侍郎、议郎、丞相东曹属、丞相主薄等职。
建安二十四年， 曹操进封魏王后，司马懿为太子中庶子，佐助曹丕。不久，转为丞相军司马。
黄初七年五月，曹丕去世，令司马懿与曹真、陈群、曹休为辅政大臣。八月，孙权出兵攻魏。司马懿击败诸葛瑾，并斩杀吴将张霸，斩首千余级。十二月，升任骠骑将军。
太和元年六月，明帝命司马懿驻扎宛城，加督荆、豫二州诸军事。