自从IBM在50多年前首次虚拟大型机时，虚拟数据中心的概念就产生了，但如今只有几家公司跨整个分布式数据中心，达到相同的效果。
IBM在大型机虚拟化领域的创造性工作对于多年后VMware的崛起提供了灵感。就当IBM虚拟整个计算环境——大型机时，如今的公司，如VMware、思杰与红帽跨整个数据中心架构，如服务器、存储与网络，尝试做同样的事情。
IBM工程师Robert Creasy和Les Comeau在1964年所做的开创性工作，即给每个大型机用户提供虚拟机、独立的操作环境，允许很多应用在同个大型机下同时运行。时间快进到现在，一股新的浪潮出现，那就是通过从整个底层物理架构隔离操作系统与应用层，在现代分布式数据中心做同样的事情。
实际上，新的软件定义数据中心管理层变成诸如整个数据中心的PC操作系统，掩饰如果不简化底层物理架构，那么确保应用得到它们运行所需的资源。
随着计算从大型机转移到分布式环境，虚拟化问题变得更加复杂，但解决方案基本一样。这需要数十年的进化，从工作进度到根源分析再到运行自动化和配置与变更管理，这一整个流程如今只有几家公司可以在数据中心做到。
新的虚拟数据中心能够虚拟所有数据中心硬件，并让应用根据重要性与时效性这样的策略去运行，不管物理资源在哪里，都能在最恰当的资源上运行应用。存储与网络硬件能够像服务器那样商品化已经有段时间了。自助服务IT——用户只需要点击几次鼠标就能发布他们自己的应用与服务——能够成为现实。
当然，现实与梦想之间总是有个差距的，这也不例外。即使用户希望简化，但技术越加复杂，新技术常常冒出来，经常造成无意识的且无法预见的结果。不过随着软件定义数据中心的出现，IT部门可以实现彻底变革。