Xemi Fernández se formó en las categorías inferiores del CF Damm. Su talento llamó la atención del Cornellà, que le fichó para su equipo juvenil. A partir de ahí escaló hasta el primer equipo, debutando en 2ªB en la temporada 2014/15, cuando con tan solo 19 años jugó 33 partidos.
Al finalizar la 2015/16 se incorporó al filial del FC Barcelona, donde militó dos campañas. En su segunda temporada, además, ayudó al equipo a ser campeón del grupo 3 de la categoría de bronce, ascendiendo a Segunda División A.
Ese verano se marchó a Inglaterra, al Oxford United, volviendo al Cornellà para finalizar la temporada 2017/18. Luego el Lleida se hizo con sus servicios, donde ha militado las dos últimas temporadas, jugando medio centenar de partidos oficiales. Además, llega ahora al UCAM Murcia tras anotar ocho goles en la 2019/20, convirtiéndose así en uno de los jugadores más destacados de la Segunda División B.