Software 32 o 64 bits

Saludos a todo el foro.

Tengo una duda sobre el sistema operativo de 64 bits. Tengo claro que la
principal ventaja es que es capaz de direccionar más de los 4GB que tiene de
límite un SO de 32 bits. También he observado que las principales
desventajas son la falta de controladores (más en Vista 64 que en XP 64,
mejorando con el tiempo) y que determinadas aplicaciones de 32 bits no
acaban de funcionar correctamente (pocas, pero algunas hay).

Pero, respecto al rendimiento general del equipo¿No debería ir más rápido?
Por ejemplo, en una máquina con un procesador Core2 Duo P8400 a 2,26GHz y
3GB de RAM, ¿No debería ejecutarse mejor y más rápido la versión de 64 bits
del SO corriendo aplicaciones de 64 bits, dado que el hardware es de 64
bits? No encuentro la respuesta en los foros o por Internet todo lo claro
que me gustaría.

Yo el equipo lo uso fundamentalmente para correr máquinas virtuales con
VirtualPC y VMware, y MS Office.

Saludos,
Luis