Si no sientes lo mismo, dilo. Si te considera un amigo, entonces lo entenderá. Sí, puede llevar algo de tiempo volver a la normalidad, pero después de la incomodidad inicial, estoy seguro de que todo saldrá bien.
Intenta hablar con él. Haz que entienda por qué no quieres tener una relación con él. Dale tus razones. Y sí, no solo digas sí por lástima, nunca funciona y arruinará tu amistad. Hablando desde la experiencia personal. Tal vez un poco molesto al principio, pero intentará ver las cosas desde su perspectiva. Dale algo de espacio si no entiende. E incluso si después de eso, las cosas no cambian, simplemente déjalo ser. La amistad es incondicional. Para ser acariciado sin condiciones.