QA Automatizador de IA

Accenture es una compañía global líder en servicios profesionales, con soluciones en estrategia y consultoría, tecnología, operaciones y capacidades digitales que impulsan a nuestros clientes a alcanzar su máximo potencial. En nuestro equipo de Tecnología, acompañamos a organizaciones de distintas industrias en la adopción de soluciones innovadoras basadas en Inteligencia Artificial, automatización y plataformas digitales de última generación. Actualmente nos encontramos en la búsqueda de un QA Automatizador para Soluciones de Inteligencia Artificial. La persona seleccionada será responsable de asegurar la calidad y confiabilidad de aplicaciones y agentes de IA mediante la automatización de pruebas, la definición de escenarios de validación y la evaluación continua de modelos de lenguaje (LLMs), contribuyendo a entregar soluciones robustas, escalables y alineadas con los estándares de calidad establecidos. Responsabilidades del rol: - Diseñar, desarrollar y mantener frameworks de automatización de pruebas para soluciones basadas en Inteligencia Artificial. - Ejecutar pruebas funcionales, de integración y validación de agentes de IA. - Definir y gestionar escenarios de prueba utilizando formatos YAML y JSON. - Evaluar el desempeño de modelos de lenguaje (LLMs), incluyendo métricas de hallucination, groundedness, relevancia y calidad de respuesta. - Integrar procesos de pruebas automatizadas dentro de pipelines de Azure DevOps y entornos CI/CD. - Colaborar con equipos de desarrollo, datos e ingeniería de IA para garantizar la calidad de las soluciones implementadas. - Analizar resultados, documentar hallazgos y proponer mejoras continuas en los procesos de testing. Requerimientos del puesto: - Más de 1 año de experiencia en pruebas de soluciones de Inteligencia Artificial o entornos relacionados. - Experiencia en automatización de pruebas y aseguramiento de calidad de aplicaciones. - Conocimiento y experiencia en validación y pruebas de agentes de IA. - Experiencia trabajando con Azure DevOps y procesos CI/CD. - Conocimientos en evaluación de LLMs, incluyendo conceptos como hallucination y groundedness. - Experiencia en diseño y ejecución de escenarios de prueba utilizando YAML y JSON. - Capacidad analítica para identificar defectos, evaluar riesgos y garantizar la calidad de las soluciones. - Habilidades de trabajo colaborativo y comunicación efectiva con equipos multidisciplinarios. -Residencia en Medellín y disponibilidad para modalidad de trabajo híbrido Beneficios destacados En Accenture contamos con un portafolio de beneficios muy completo, entre ellos: - Medicina prepagada 100% cubierta para el colaborador, incluyendo plan dental. - Seguro de vida. - Auxilio óptico. - Convenios con entidades financieras, gimnasios y comercios aliados. - Auxilio de conectividad. ¡Y muchos más beneficios pensados para tu bienestar y desarrollo! Buscamos profesionales apasionados por la innovación, la calidad de software y la Inteligencia Artificial, con una mentalidad analítica, orientación al detalle y motivación por impulsar soluciones tecnológicas de alto impacto. Todas las decisiones de Accenture se tomarán sin discriminar por motivos de raza, religión, color, sexo, edad, discapacidad, nacionalidad, orientación sexual, identidad o expresión de género, ni por ninguna otra razón cubierta por la legislación local.-Requerimientos- Educación mínima: Universidad / Carrera Profesional
años de experiencia
Palabras clave: calidad, quality, qa