马援回来后，隗嚣询问东方的传言和在京师的得失。马援道:“前次到朝廷，陛下多次接见我，每次与其在宴间谈话，从夜谈到清晨，陛下的才能勇略，不是别人所能匹敌的，且坦白诚恳，无所隐瞒。胸怀阔达而有大节，大抵与高帝相同，而其经学之渊博，处理政事和文章辞辩，在前世无人可比。”隗嚣又问:“陛下比高祖怎样?”马援回答:“不如。高祖上天入地无所不能为;而当今陛下喜爱政事，处理政务能恰如其分，又不喜欢饮酒。”隗嚣心里不高兴，说:“像你这样说，陛下倒胜过高祖了。”话虽如此说，隗嚣到底还是相信马援。他同意归汉，派长子隗恂到洛阳去做人质。

　　平定陇西

　　马援携家属随隗恂到洛阳，数月都没有被任命职务。他发现三辅地区土地肥沃，原野宽广，而自己带来的宾客又不少，于是便上书刘秀，请求率领宾客到上林苑去屯田。光武帝答应了他的请求。

　　此时，隗嚣听信了部将王元的挑拨，想占据陇西，称王称霸，因而对汉朝存有二心，处事狐疑。马援见状，多次写信，好意相劝。隗嚣怨恨马援，认为他背离自己，见到信后愈发恼火，后来竟起兵抗拒朝廷。马援上书刘秀，陈述消灭隗嚣的计策。刘秀采纳马援的计策，令他率突骑五千，游说隗嚣的将领高峻、任禹等人以及羌豪，陈述利害祸福，分化瓦解隗嚣集团。

　　马援又写信给隗嚣部将杨广，陈说利害，希望他能归附汉朝并劝谏隗嚣悬崖勒马。杨广没有答复。

　　堆米成山

　　建武八年(32年)，刘秀亲征隗嚣。军队行进到漆县，不少将领认为前途情况不明，胜负难卜，不宜深入险阻，刘秀也犹豫不定，难下决心，正好马援奉命赶来。刘秀连夜接见，并将将领们的意见告诉马援，征询他的意见。于是，马援说出了自己的看法，他认为隗嚣的将领已有分崩离析之势，如果乘机进攻，定获全胜。说着，他命人取些米来，当下在光武帝面前用米堆成山谷沟壑等地形地物，然后指点山川形势，标示各路部队进退往来的道路，其中曲折深隐，无不毕现，对战局的分析也透彻明白。刘秀大喜道：“敌虏已在我眼中了。”遂决意进军。第二天，光武帝挥军直进，抵达高平第一城。当时，凉州牧窦融率河西五郡(指敦煌、酒泉、张掖、武威、金城)太守及羌、小月氏等步骑数万、辎重车五千辆与刘秀会合，分数路攻陇。隗嚣大将十三人及部众十万余人不战而降，隗嚣逃至西城，援陇蜀军李育、田弇逃至上邽。汉军占领了天水的16座属县，刘秀派吴汉、岑彭围西城，派耿彝围上邽。至此，隗嚣军主力基本上被汉军消灭。

　　此战，马援“堆米为山”是取胜的重要原因，这在战争史上也是一个创举，具有重要的意义。

　　抚平羌乱

　　建武九年(33年)，马援被任命为太中大夫，作为来歙的副手，统领诸军驻守长安。从新朝末年开始，塞外羌族不断侵扰边境，不少羌族更趁中原混乱之际入居塞内。金城一带属县多为羌人所占据。来歙就此事上书，说陇西屡有侵扰祸害，除马援外，无人能平。

　　建武十一年(35年)，刘秀任命马援为陇西太守。马援派步骑三千在临洮击败先零羌，斩首数百人，获马牛羊一万多头。守塞羌人八千多，望风归降。当时，羌族各个部落还有几万人在浩亹占据要隘进行抵抗，马援和扬武将军马成率兵进击，羌人将其家小和粮草辎重聚集起来在允吾谷阻挡汉军。马援率部暗中抄小路袭击羌人营地，羌人见汉军突如其来，大惊，远远地逃入唐翼谷中。马援挥师追击，羌人率精兵聚集北山坚守。马援对山摆开阵势佯攻，吸引敌人，另派几百名骑兵绕到羌人背后，乘夜放火，并击鼓呐喊。羌人不知有多少汉军袭来，纷纷溃逃。马援大获全胜，斩首千余级。但因为兵少，没有穷追敌人，只把羌人的粮谷和牲畜等财物收为汉军所有。此战，马援身先士卒，飞箭将其腿肚子都射穿了。刘秀得知后，派人前往慰问，并赐牛羊数千头。马援像往常一样，又把这些都分给了部下。

　　当时，金城破羌以西，离汉廷道途遥远，又经常发生变乱，不好治理。朝廷大臣商议，要把该地区舍弃。马援持不同意见，他提出了三条理由:第一，破羌以西的城堡都还完整牢固，适于固守;第二，那地方土地肥沃，灌溉便利;第三，假如舍弃不管，任羌人占据湟中，那么，以后将有无穷的祸患。