LMSYS.org, o la Organización de Sistemas de Modelos Grandes, es una colaboración que involucra a estudiantes y profesores de UC Berkeley. Su objetivo es desarrollar modelos y sistemas grandes que sean abiertos, accesibles y escalables, contribuyendo al avance de la inteligencia artificial (IA) mediante herramientas y plataformas para evaluar y mejorar modelos de lenguaje (LLMs) y modelos de lenguaje-visual (VLMs). Entre sus proyectos destacados se encuentra el Chatbot Arena, que permite evaluaciones comunitarias de diferentes LLMs. LMSYS.org ofrece una variedad de características y proyectos que benefician a investigadores, desarrolladores y entusiastas de la IA, incluyendo herramientas como Vicuna, que es un chatbot comparable en calidad a GPT-4, y SGLang, un motor de servicio rápido para LLMs y VLMs. Además, proporciona datasets como LMSYS-Chat-1M para entrenamiento y evaluación de chatbots. Los usuarios pueden participar en la plataforma, acceder a datasets, implementar herramientas y contribuir a iniciativas de investigación. Aunque promueve principios de acceso abierto y un enfoque comunitario, los usuarios deben considerar la selección de modelos y la retroalimentación de la comunidad al evaluar su rendimiento.