Minecraft: Ayuda con mi servdor

Me he creado un servidor no bukkit , sino del que te descargas de minecraft.net y a mis amigos les va bien cuando juegan pero a mi me da muhco lag , en modo un jugador no tengo nada , y el lag no es como el de cualquier server esq me puede ir bien pero ralentizado es decir bajadas de fps muy frecuentes ¿como puedo solcionar esto?

EDITO : Incluso si juego yo solo en el servidor tengo bajas de fps pero si juega alguien no las tiene.
EDITADO EL 12-05-2013 / 23:13 (EDITADO 1 VEZ)