钉钉AI助理升级：上线图片理解、文档速读等功能

3月29日消息，钉钉AI助理近日宣布完成升级，上线图片理解、文档速读、工作流等产品能力，率先探索多模态、长文本与RPA技术在AI应用的落地。基于阿里通义千问大模型，升级后的钉钉AI助理拥有更强的视觉推理能力和长文本速读能力。

目前，用户在钉钉IM消息框或点击魔法棒按钮进入AI助理对话框，发送长文件、在线文档、网页链接、视频内容，即可根据内容识人、识地点、分析、答题、翻译、摘要、提取文字，甚至可以通过多轮交互进一步做智能问答。

图源：钉钉黑板报公众号

据了解，基于通义千问Qwen-VL-Max视觉理解模型，钉钉AI助理能够准确描述和识别图片信息，并根据图片进行信息推理、扩展创作、文字提取、翻译等，相当于一个全能的“图片小百科”。

不管图片展示的是某件物体、某个人物、风景，还是菜谱、社交梗图、数学题和衣服标签，AI助理都能一秒识别图片内容，并在此基础上进行多轮对话问答。比如，旅游时看到一个很美的建筑，拍照发给钉钉AI助理，就能迅速了解它的历史背景和相关故事。

图源：钉钉黑板报公众号

利用这一能力，用户还可以实现识图翻译或提取图片中的文字，让信息获取更加便捷。比如，不知道某件衣服的洗涤方式，把衣服标签拍个照发给钉钉AI助理，就可以翻译上面的英文。

通义千问Qwen-VL-Max拥有更强的视觉推理和中文理解能力，整体性能堪比GPT-4V和Gemini Ultra。在MMMU、MathVista等测评中远超业界所有开源模型，在文档分析（DocVQA）、中文图像相关（MM-Bench-CN）等任务上超越GPT-4V，达到世界最佳水平。

此外，AI助理也支持视频内容的速读。发送给AI助理的短视频、直播切片或培训视频可以被快速“观看”，AI助理会根据视频内容生成字幕，提取关键词，并生成一份智能摘要，对于最高2GB的视频内容，仅需3分钟即可完成智能解读。