Depende de por qué no lo quieres. Si es una cosa de preferencia (no te gusta el color), acéptalo, agradécelo, luego cámbialo (o dáselo a alguien que lo desee). Si lo preguntan más tarde, agradezca y dígales lo que le gustó, pero que REALMENTE le gustó en otro color, así que lo intercambió o no encajó, así se lo dio a su amigo. No hay necesidad de mentir sobre cosas tan pequeñas.
Si no lo quieres porque no te sientes cómodo aceptando CUALQUIER regalo de la persona (por ejemplo, te están golpeando o eres un funcionario público o lo que sea), hazles saber que aprecias el gesto, pero son incapaces de aceptar el regalo. Agradézcales por la amabilidad, pero no acepte el regalo. Si presionan el tema, sugiérales que lo donen (por ejemplo, si es un vestido, pídales que lo donen a una organización benéfica de disfraces). No dejes que te empujen a aceptarlo.