¡Atención, comunidad de Agente Geek! GitHub Copilot, el asistente de codificación impulsado por IA, ha recibido una importante actualización. El equipo de GitHub ha estado trabajando en un nuevo modelo personalizado para mejorar la experiencia de autocompletado de código, la característica más utilizada por los desarrolladores que confían en Copilot.
¿Qué significa esta actualización para ti?
La principal ventaja de esta mejora es que pasarás menos tiempo editando y más tiempo construyendo. El nuevo modelo se enfoca en proporcionar sugerencias más precisas y útiles, lo que se traduce en:
- 20% más de caracteres aceptados y retenidos: Esto significa que una mayor parte de las sugerencias de Copilot se quedarán en tu código final.
- 12% mayor tasa de aceptación: Encontrarás las sugerencias útiles con más frecuencia.
- 3x mayor rendimiento y 35% menor latencia: Copilot se siente mucho más rápido y ágil, manteniendo tu flujo de trabajo sin interrupciones.
¿Cómo evalúan los modelos personalizados?
GitHub utiliza una combinación de evaluaciones offline, pre-producción y en producción para asegurarse de que los modelos de Copilot ofrezcan la mejor calidad posible:
- Evaluaciones Offline:
- Benchmark basado en ejecución: Pruebas en repositorios internos y públicos con cobertura de pruebas unitarias. Se simulan tareas reales, se aceptan sugerencias y se mide la tasa de éxito de compilación y pruebas.
- Puntuación LLM-judge: Un LLM independiente evalúa las sugerencias en términos de calidad (validez sintáctica, consistencia), relevancia (evitar alucinaciones) y utilidad (reducir el esfuerzo manual).
- Evaluaciones Pre-producción (Dogfooding Cualitativo): Desarrolladores internos y partners prueban los modelos en flujos de trabajo reales, proporcionando feedback sobre legibilidad, confianza y “gusto”.
- Evaluaciones en Producción (A/B Testing): Se miden métricas como caracteres aceptados y retenidos, tasas de aceptación, latencia, etc., en entornos de desarrollo reales.
El entrenamiento del nuevo modelo
El proceso de entrenamiento del nuevo modelo de Copilot incluyó varias etapas clave:
- Mid-training: Creación de un modelo fundacional específico para código, utilizando un corpus de código moderno, idiomático, público e interno con casi 10 millones de repositorios y más de 600 lenguajes de programación.
- Supervised fine-tuning: Especialización en el autocompletado de código “fill-in-the-middle” (FIM) para mejorar la precisión de las inserciones, el respeto al estilo de formato y la coherencia con el prefijo y sufijo del código.
- Reinforcement learning: Uso de un algoritmo de aprendizaje por refuerzo para enseñar al modelo, mediante recompensas y penalizaciones, qué hace que las sugerencias de código sean útiles en escenarios reales de desarrollo.
Lecciones aprendidas
El equipo de GitHub aprendió valiosas lecciones durante el desarrollo de este nuevo modelo:
- Es crucial recompensar cuidadosamente para evitar la sobre-optimización de ciertas características (como la adición excesiva de comentarios).
- Centrarse únicamente en una métrica (como la tasa de aceptación) puede llevar a experiencias que no satisfacen las necesidades reales de los desarrolladores.
- Es fundamental alinear los datos de fine-tuning sintéticos con el uso real del código para mejorar los resultados en el mundo real.
¿Qué sigue?
GitHub planea seguir mejorando Copilot enfocándose en:
- Expandirse a dominios específicos (motores de juegos, finanzas, ERP, etc.).
- Refinar las funciones de recompensa para priorizar el éxito de la compilación y las pruebas, la utilidad semántica y la modernidad de las APIs.
- Ofrecer autocompletados más rápidos, económicos y de mayor calidad en todos los entornos de desarrollo.
Conclusión
La actualización de GitHub Copilot con este nuevo modelo personalizado representa un gran avance en la asistencia de codificación impulsada por IA. Con sugerencias más inteligentes, rápidas y relevantes, Copilot está preparado para aumentar aún más la productividad de los desarrolladores. ¡No dudes en probarlo y contarnos tu experiencia!
Fuente: GitHub Blog
Leave a Comment