伊凡三世自幼饱经忧患，故而养成了凡事反复权衡、谨小慎微的性格。但同时由于瓦西里二世的多年培养，在即位时伊凡三世已经具有丰富的从政和外交经验。以伊凡三世为首的莫斯科大公国很快就制定出了夺取诺夫哥罗德大公国的计划。因为诺夫哥罗德大公国的领地从波罗的海一直延伸到伏尔加河流域，控制着古罗斯诸城邦通往欧洲的交通要道，此外诺夫哥罗德一直控制着同欧洲的裘皮贸易。裘皮在当时属于重要的战略资源，地位类似今天的石油，被称作"软黄金"，直至17-18 世纪，和欧洲的裘皮贸易一度占到俄罗斯年收入的三分之一。夺取诺夫哥罗德，无疑对莫斯科具有重大战略意义。此外，诺夫哥罗德虽然同属罗斯城邦，但它一直依附于立陶宛大公国，在西北方对莫斯科大公国构成了潜在威胁。

在攻打诺夫哥罗德之前，伊凡三世认为必须首先剪除后患，首先应该解除喀山汗国这个后顾之忧。1467年，养精蓄锐多年的莫斯科大公国发兵喀山汗国。战争持续了三年，双方资源殆尽，无力再发动大规模进攻。为了保存实力，完成占领诺夫哥罗德的战略目标，伊凡三世决定在莫斯科占领上风时撤军。对喀山汗国发动的战争虽然没能彻底征服喀山汗国，但是喀山汗国在长时间内丧失了侵袭莫斯科的能力，莫斯科大公国还在东部彻底确立了鞑靼人建立的卡西莫夫汗国的依附地位，作为莫斯科大公国和喀山汗国的战略缓冲地带，此外卡西莫夫汗国也成为莫斯科大公国最终征服喀山汗国的桥头堡。

在同喀山汗国的战争中，伊凡三世意识到，没有各个罗斯城邦的团结一致，仅靠莫斯科大公国的力量，战胜鞑靼人的汗国是不可能的。这更加坚定了他占领诺夫哥罗德公国的决心。但是考虑到诺夫哥罗德一贯依附于当时的东欧强国立陶宛大公国，伊凡三世针对诺夫哥罗德的军事行动必定要招致立陶宛的反击。此外，在结束同喀山汗国的战争以后，莫斯科的军队虽然战斗力得到加强，但资源临近枯竭，无法再次进行长期战争。因此伊凡三世制定了以制造声势、恐吓和速战速决为主的攻心战术，力求在整体上达到不战而胜的目的。

1470年，伊凡三世在稍事休养后准备发兵诺夫哥罗德。慑于莫斯科大公国东征强敌喀山汗国成功所显示出的军事实力，诺夫哥罗德紧急派出特使，前往波兰-立陶宛大公国，面见大公卡西米尔四世，寻求波兰-立陶宛的保护。诺夫哥罗德的意图在于和立陶宛签订条约，并入立陶宛，把防务问题整个交给立陶宛处理。

卡西米尔四世权衡再三，也不愿意和莫斯科大公国发生正面冲突，所以决定和诺夫哥罗德签订合并条约，但是不向诺夫哥罗德派兵增援，只是找了一个名叫亚历山大·米哈伊洛维奇的人代表立陶宛去诺夫哥罗德做大公，而且这个人按照家谱排序，竟然是伊凡三世的表哥。卡西米尔四世希望以此阻挡莫斯科大公国吞并诺夫哥罗德的决心。

出乎卡西米尔四世的意料，亚历山大·米哈伊洛维奇到任后不久，即不辞而别。亚历山大·米哈伊洛维奇最终去向不明，史书上没有记载。与此同时，伊凡三世的军队步步进逼，在1471年夏进入诺夫哥罗德外围领地。诺夫哥罗德在群龙无首的条件下，由城内的贵族会议组织了4万人的民兵，出城抵抗莫斯科军队，同时向卡西米尔四世告急。在舍伦河畔，伊凡三世击溃了诺夫哥罗德的军队，还俘虏了率领这支军队的亲立陶宛派贵族的首领波列茨基大公。莫斯科前锋部队衔尾而追，直逼诺夫哥罗德城下。立陶宛的援军迟迟不到，无奈之下，诺夫哥罗德的贵族们只好派出城内的主教和伊凡三世谈判。

在谈判中，伊凡三世表现得颇有君主风度，对丧失抵抗能力的诺夫哥罗德公国表现了宽容大度。伊凡三世要求诺夫哥罗德向莫斯科大公国投降，宣誓归顺，莫斯科大公国获得对诺夫哥罗德的宗主权，所有诺夫哥罗德的司法审判权归莫斯科所有；在经济方面仅提出要诺夫哥罗德在一年内偿还军费。前去谈判的诺夫哥罗德主教还带回了伊凡三世致诺夫哥罗德公国的诏书，在书中伊凡三世写到："吾固弃前嫌，不使汝等有刀兵之祸，今当归抚俘降之众，但履新朝可乎！"在贵族会议进行讨论后，诺夫哥罗德同意了这个条件，承认了莫斯科的宗主地位，伊凡三世也没有在诺夫哥罗德派驻一兵一卒。

此时伊凡三世已经向往统一罗斯诸城邦，建立一个以莫斯科为首都的统一的封建集权国家，抵抗来自鞑靼人和立陶宛的侵袭。所以伊凡三世把诺夫哥罗德看成是自己潜在的财富，对战败的诺夫哥罗德提出了非常宽和的停战条件。按照当时的惯例，已经获得胜利的军队通常是在毁城之后大肆烧杀掠夺，把敌方的物质财富充作战利品运走。伊凡三世通过谈判方式和平解决了诺夫哥罗德问题，一方面保证了此后莫斯科能够获得额外的经济来源，另一方面为征服其他罗斯城邦树立了良好的先例。

伊凡三世的举动进一步促成了诺夫哥罗德贵族中亲立陶宛和亲莫斯科两派政治势力的形成，也同时加剧了两派的斗争。此外，伊凡三世对诺夫哥罗德拥有的宗主地位也给莫斯科大公国带来了收入，成为莫斯科大公国进一步巩固霸主地位的经济基础。

1472年11月份，莫斯科大公国第二次庆祝伊凡大公的婚礼。伊凡三世的第二任妻子就是拜占庭帝国的末代皇帝的侄女索菲娅·帕列奥洛格公主。