La comunidad quiere ofrecer a la industria herramientas para evaluar modelos de IA en casos de uso del mundo real, y arranca con el respaldo de Hugging Face, Khalifa University, The Linux Foundation y otros operadores de redes móviles y proveedores de telecomunicaciones líderes.

“Los modelos de IA actuales tienen dificultades con las consultas específicas del sector de las telecomunicaciones, generando a menudo recomendaciones inexactas, engañosas o poco prácticas”, señaló Louis Powell, jefe de Iniciativas de IA de la GSMA.

“Al crear un conjunto de benchmarks para toda la industria, no solo mejoramos el rendimiento de los modelos, sino que también garantizamos que la IA en telecomunicaciones sea segura, fiable y acorde a las necesidades operativas del mundo real”.

Entre los operadores que respaldan el lanzamiento de GSMA Open-Telco LLM Benchmarks se encuentran Deutsche Telekom, LG Uplus, SK Telecom, Turkcell y el proveedor tecnológico Huawei.

La comunidad permitirá a operadores de redes móviles, investigadores en IA y desarrolladores enviar casos de uso, conjuntos de datos y modelos para su evaluación. Un marco de evaluación estandarizado asegurará que todos los modelos se analicen frente a desafíos reales en áreas como conocimiento del sector telco, razonamiento matemático, consumo energético y seguridad. Los benchmarks resultantes se alojarán en Hugging Face para garantizar la transparencia y fomentar la participación de la comunidad.