Chatbot Arena

ChatbotArena是一个大型语言模型(LLM)的基准平台以众包方式进行匿名随机对战该项目方LMSYSOrg是由加州大学伯克利分校、加州大学圣地亚哥分校和卡内基梅隆大学合作创立的研究组织。
通过demo体验地址进入对战平台输入自己感兴趣的问题提交问题后匿名模型会两两对战分别生成相关答案需要用户对答案做出评判从4个评判选项中选择一个：模型A更好、模型B更好、平手、都很差。支持多轮对话。最终使用Elo评分系统对大模型的能力进行综合评估。(可以自己指定模型看效果但不计入最终排名情况)。