经过短短二十多年的恢复，耕地面积和作物产量，都有较大的增加和提高。隋朝政府征收的粮食、布帛，堆满了国家仓库。手工业有了新的发展，带动了造船技术的提高，宏伟的战舰上建有五层楼，非常壮观。政府把全国几万家富商迁到了东都洛阳，使这里的商业盛极一时。整个封建经济呈现出繁荣景象，对发展南北交通，加强经济文化交流，巩固隋朝政权，提出了更为迫切的要求。于是，开凿大运河就提到日程上来了。

584年(开皇四年)，为解决都城长安(当时叫大兴城)的漕运，首先修复了西汉的关中漕渠，名为广通渠。后来为南下平陈，重新疏浚了邗沟，名山阳渎。隋炀帝即位，下令在605年(大业元年)开始修筑大运河。首先开通济渠，从洛阳西苑引穀、洛水入河，又自板渚引河水，向东南至盱眙(在今江苏)对岸入淮。同时重浚拓宽江淮间运河，仍名邗沟。608年，隋朝政府向辽东用兵，开凿永济渠，引沁河东北流经白沟故道，和今南运河接漯水，直达涿郡(今北京)。610年，又开凿自京口(今镇江)至余杭(今杭州)的江南河。这样，从584到610年的二十六年内，开浚了永济渠、通济渠、邗沟、江南河四大段，西抵长安，北达涿郡，南至余杭，共计两千余公里的南北大运河。

大运河沟通了海河、黄河、淮河、长江、钱塘江五大水系，流经今八个省市，形成了以长安、洛阳为轴心，向东北、东南辐射的水运网络。大运河规划严密、布局合理，也十分气派。史书上说，它“水面阔四十步……两岸为大道，种榆柳，自东都至江都，二千余里，树荫相交”。

隋朝政权在618年唐朝建立之后就结束了，大运河对这个短暂的王朝没有起到太大的作用，倒是对唐朝经济的发展，起了重大的作用。因为唐朝也是建都长安，政治中心在关中，其漕运路线基本上与隋朝相同，所以没有必要再进行大规模的运河兴建。

唐代在安史之乱以后，藩镇割据，政府财政收入全仰仗江淮地区，所以，通济渠(汴河)就成了唐王朝的经济命脉。唐代诗人皮日休，写了一篇《汴河铭》的文章，概括了通济渠所起的重要作用：“北通涿郡之渔商，南运江都之转输，其为利也博哉!”每年，来自江淮之间的大批粮食，源源不断地用船只运到关中。

宋朝建都开封，这里地处平原，更有利于发展水上运输。宋朝政府首先修复了唐朝末年以来淤积严重的汴河，又开凿了由开封通往山东地区的五丈河、通往西南和南方的蔡河(惠民河)，和作为五丈河水源的金水河。这四条运河，合称“漕运四渠”。江南地区丰富的物产，以及达官贵人、皇亲国戚们奢侈生活所用的物品，源源不断运入了大宋王朝的京城汴梁。

隋唐大运河是一项影响深远的伟大工程，在历史上起了重要作用，主要是：

第一，它是我国南北航运的一条重要水路通道。当时通过运河水道，把东南部的粮食物品运到北方，比起陆路运输，运量大，运费低，更加便捷、安全。据记载，唐玄宗时，长安城有一个广运潭，可容各地的商船驶入。有一次，水陆转运使韦坚在潭上举办博览会，有三百多只大船，陈列着来自江淮地区琳琅满目的各种物品，让人目不暇接。

第二，由于大运河的兴建，运河沿岸兴起了一批商业都市，如同璀璨的明珠，镶嵌在运河岸边，成为经济中心，对商品经济的发展和社会进步，起到了积极的促进作用。著名的古城扬州，从唐代开始，走向繁荣，成为运河上的一座重要的城市。它“兼水漕陆挽之利，有泽渔山伐之饶，俗具五方，地绵千里”，具有很大的吸引力，所以有“故人西辞黄鹤楼，烟花三月下扬州”之说。杭州是大运河南方的起点，它也是从唐朝开始走向繁荣的。中唐以后，杭州成为“东南名郡”，号称“天堂”，所以南宋时把都城建在杭州，绝非偶然。

第三，在中国对外的经济文化交流方面，起了积极的促进作用。例如，唐代朝鲜半岛上的新罗，与唐朝政府间的来往，都是从登州入境，通过运河再到扬州。当时由于与新罗之间往来频繁，所以运河沿线设立不少“新罗馆”，负责接待。唐朝与日本的交流更多，从日本来的大量留学人员、学者、商人、僧人，都是走运河到达都城长安。高僧鉴真，也是从扬州乘船出港，东渡日本。据统计，日本船只往来中国，百分之八十都要经过运河。此外，来自西亚、阿拉伯的商人，也是乘船进入运河后，再分别往北、往南，进行贸易。