10.000 visitas diarias no son nada y el servidor más básico sería más que suficiente para aguantar eso ... un celeron con 512mb ya aguantaria eso bien, claro está que esté bien configurado y optimizado.
Otra cosa es el intervalo en el que acumules esas 10.000 visitas.. no son los mismo 10.000 visitas en 24h que 8.000 visitas en un espacio de 4h y el resto en las 2h que quedan. Más importante es incluso el número de paginas vistas que no las visitas, ese dato es el relevante para tomar tu elección. Puedes tener 10.000 visitas y en total 20.000 páginas vistas por ejemplo,pero también puede ser que tengas usuarios muy asiduos y que se pasan mucho tiempo en tu web y con 10.000 visitas tener más de 100.000 páginas vistas.
Después también es muy importante de que tipo de paǵinas estamso hablando, si paginas html o php/mysql, y si es una web bien o mal programada, o un script que consuma muchos registros.
Al saber eso, creo que ya podrás tomar la decisión de si pillar un server pequeño o uno mediano, pero un xeon lo veo grande