紫东太初是由中科院自动化所和武汉人工智能研究院联合推出的一个全模态大模型它是在千亿参数多模态大模型“紫东太初1.0”基础上升级打造的2.0版本。紫东太初大模型支持多轮问答、文本创作、图像生成、3D理解、信号分析等全面问答任务具有强大的认知、理解、创作能力能够带来全新的互动体验。
紫东太初的主要功能
一、图像能力
图像描述：基于用户上传的图片素材准确理解并回答图片识别类问题
目标检测：支持丰富品类的目标检测任务能够判定目标类型、数量和对应的位置信息
图像检索：基于海量的高质图片素材库能为用户搜索出关联度高的精致图片素材
图像生成：针对用户指令诉求生成对应的精致图片并可以修改描述微调图片内容
文字识别：基于图片内容支持多场景、多语种、高精度的文字检测与识别服务
二、语言能力
中文问答：准确理解用户输入的问题语境并能做出准确的知识性问答
文本续写：基于用户输入的故事引导自动续写丰富故事内容
文本创作：准确理解用户输入意图并生成语意连贯、逻辑通顺的文本内容
标题生成：基于对文章或者长文本的理解快速聚合生成精简且概括的标题文案
语法分析：准确理解并分析中英文句子的语法提醒语法错误并修改等
机器翻译：帮助用户翻译各类型文本素材包括中英文互译、文言文和白话文互译等
古诗创作：基于用户给到的主题或引导内容即兴创作诗歌、绝句等
代码理解：理解C语言、Python、JAVA等绝大部分编程语言、算法和数据结构快速给出所需的解答
代码编写：能帮助用户快速编写简单的代码片段例如函数、类或循环等
数学计算：既能处理常规数学计算问题也能处理如《孙子算经》上记录的鸡兔同笼数学应用问题等
逻辑推理：支持处理复杂的逻辑推理类问题包括科学推理、常识推理、时空推理等
三、视频能力
视频描述：基于用户上传的视频素材准确理解并回答视频识别、视频描述类问题
视频检索：基于海量的高质视频素材库能为用户搜索出关联度高的精致视频素材
视频问答：基于用户上传的视频素材准确理解并回答视频相关的问题同时支持上下文信息理解和多轮问答
四、音乐能力
音乐生成：通过给定的文本提示可控生成高保真的音乐并支持即兴创作多种风格类型和多种乐器演奏的音乐
音乐多模问答：基于对用户上传的音乐素材的理解可完成相关多模态问答任务
五、音频能力
音频鉴伪：紫东太初能判断当前音频是真人说话还是机器合成
音频事件分类：可检测当前音频中所包含的声音事件类型目前支持11种单一声音事件和混合声音事件
语音识别：可将语音快速准确识别为文字支持手机应用语音交互、语音内容分析多个场景
语音合成：提供高度拟人、流畅自然的语音合成服务满足文本阅读、语音播报等各类型场景需求
六、3D能力
3D场景描述：紫东太初2.0具备基于点云数据的3D场景理解和物体感知能力
七、信号类能力
信号识别：支持雷达信号鉴别与知识交互可借助模型快速掌握信号基本来源及参数等
如何使用紫东太初
访问紫东太初的官网（taichu-web.ia.ac.cn）点击对话体验
登录/注册你的账号申请使用登录成功后便会自动跳转到对话界面
输入你的问题或者输入斜杠选择推荐提示指令（你也可以选择内置的示例查看）然后点击发送
紫东太初便会智能回答你的问题
常见问题
紫东太初如何申请试用？
访问紫东太初的官网在登录界面点击注册输入“用户名”、“昵称”、“密码”、“手机号”等信息提交注册账号申请等待后台审核通过后便可以免费使用体验。
紫东太初支持上传文件吗？
紫东太初支持用户上传图片、视频、点云、音频、音乐、信号的文件并可进行针对性对话问答。
紫东太初通过生成式AI备案了吗？
紫东太初大模型已于2023年8月首批通过《生成式人工智能服务管理暂行办法》备案可正式上线面向公众提供服务。
