Depende de qué términos rompiste con él.
Tal vez él piensa que todavía es “amistoso” llamarte en horas extrañas.
Si realmente te molesta, entonces debes decirle que es demasiado pronto para hablar y que es mejor si puede llamar en otro momento mejor. Mantener las cosas formales. Esperemos que se dé cuenta de la pista.