沐曦曦云C500/C550 GPU产品适配智谱GLM-OCR模型

描述

今天,智谱AI正式发布并开源GLM-OCR,以 “小尺寸、高精度” 实现文档解析能力新标杆。沐曦股份曦云C500/C550 GPU充分发挥高生态兼容性、软硬协同能力优势,高效完成与智谱GLM-OCR Day 0适配。此次曦云C500/C550基于Transformer和vLLM框架对GLM-OCR进行适配,在保持优异精度的同时,实现高性能、低延迟推理。

这是继去年12月智谱 GLM-4.6V 系列多模态大模型之后,沐曦再一次完成与智谱AI模型的快速适配。这充分体现了沐曦 MXMACA 软件栈与曦云 C 系列的高兼容性与快速适配能力。曦云C系列依托沐曦全栈自研 MXMACA 软件栈,能实现模型低成本迁移与高效部署,并充分释放自身澎湃算力,为主流大模型提供 “发布即能用”的国产算力底座。

关于GLM-OCR

 

GLM-OCR作为一款轻量的专业级 OCR 模型,其核心亮点如下:

性能 SOTA:以 94.6 分登顶 OmniDocBench V1.5,并在公式识别、表格识别、信息抽取的多项主流基准中均取得 SOTA 表现;

场景优化:专攻真实业务痛点,在手写体、复杂表格、代码文档及印章等高难场景中表现稳健;

推理高效:仅 0.9B 参数规模,支持 vLLM 和 SGLang 部署,显著降低推理延迟与算力开销,适合高并发与边缘部署;

开源易用:同步开源完整 SDK 与推理工具链,支持一行命令快速调用,轻松接入现有业务系统。

性能SOTA、精准干活儿

得益于自研 CogViT 视觉编码器与深度场景优化,GLM-OCR 实现了“小尺寸,高精度”。

GLM-OCR 参数量仅 0.9B,但在权威文档解析榜单 OmniDocBench V1.5 中以 94.6 分取得SOTA。在文本、公式、表格识别及信息抽取四大细分领域的表现优于多款OCR专项模型,性能接近 Gemini-3-Pro 。

沐曦

案例实测

除了公开榜单,智谱还针对真实业务中的六大核心场景进行了内部测评。结果显示,GLM-OCR 在代码文档、真实场景表格、手写体、多语言、印章识别、票据提取等维度均取得显著优势。

沐曦

在实际应用中,GLM-OCR 能精准解析扫描件、PDF、表格及票据,有效解决手写、印章、竖排及多语言混排难题,在复杂版式下依然保持极高的准确率和鲁棒性。

通用文本识别:GLM-OCR支持照片、截图、扫描件、文档输入,能够识别手写体、印章、代码等特殊文字,可广泛应用于教育、科研、办公等场景。

案例:手写公式识别

沐曦

案例:印章识别

 

案例:代码识别

沐曦

*由于长度原因,截图未完全展示模型输出

复杂表格解析:针对合并单元格、多层表头等复杂结构,模型能精准理解并直接输出 HTML 代码。无需二次制表,识别结果即可用于网页展示或数据处理,大幅提升表格录入与转换效率。

案例:跨单元格表格

沐曦

案例:分段表

沐曦

信息结构化提取:GLM-OCR可从各类卡证、票据、表格中智能提取关键字段,并输出标准的JSON格式,无缝对接银行、保险及物流等行业系统。

输入图片:

沐曦

prompt:

 

请按下列JSON格式输出图中信息:
```json
{
        "标题": "中华人民共和国海关出口货物报关单",
        "境内发货人": {
          "名称":"",
          "统一社会信用代码":"",
          "10位海关代码":""
            },
        "出境关别": "",
        "出口日期": "",
        "申报日期": "",
        "备案号": "",
        "境外收货人": "",
        "运输方式": "",
        "运输工具名称及航次号": "",
        "提运单号": "",
        "生产销售单位": {
          "名称":"",
          "统一社会信用代码":"",
          "10位海关代码":""
            },
        "监管方式": "",
        "征免性质": "",
        "许可证号": "",
        "合同协议号": "",
        "贸易国(地区)": "",
        "运抵国(地区)": "",
        "指运港": "",
        "离境口岸": "",
        "包装种类": "",
        "件数": "",
        "毛重(千克)": "",
        "净重(千克)": "",
        "成交方式": "",
        "运费": "",
        "保费": "",
        "杂费": "",
        "商品信息": [{
                        "项号": 1,
                        "商品编号": "",
                        "商品名称": "",
                        "数量": "",
                        "单价": "",
                        "总价": "",
                        "币制": "",
                        "原产国(地区)": "",
                        "最终目的国(地区)": "",
                        "境内货源地": "",
                        "征免": "",
                        "规格型号(申报要素)": ""
                }, // 如果有多种商品,新建一个字典继续在列表中记录
        ]
}
```

 

输出:

 

```json
{
    "标题": "中华人民共和国海关出口货物报关单",
    "境内发货人": {
        "名称": "建德市佳泓工具有限公司",
        "统一社会信用代码": "913301827042918701",
        "10位海关代码": ""
    },
    "出境关别": "",
    "出口日期": "",
    "申报日期": "",
    "备案号": "",
    "境外收货人": "ROSS PROCUREMENT, INC.",
    "运输方式": "水路运输",
    "运输工具名称及航次号": "",
    "提运单号": "",
    "生产销售单位": {
        "名称": "建德市佳泓工具有限公司",
        "统一社会信用代码": "913301827042918701",
        "10位海关代码": ""
    },
    "监管方式": "一般贸易",
    "征免性质": "一般征税",
    "许可证号": "",
    "合同协议号": "70037636",
    "贸易国(地区)": "美国",
    "运抵国(地区)": "美国",
    "指运港": "美国",
    "离境口岸": "北三集司",
    "包装种类": "纸箱+双泡壳+标贴",
    "件数": "300",
    "毛重(千克)": "2700.00",
    "净重(千克)": "2499.00",
    "成交方式": "FOB",
    "运费": "",
    "保费": "",
    "杂费": "",
    "商品信息": [
        {
            "项号": 1,
            "商品编号": "8205400000(999)",
            "商品名称": "螺丝刀",
            "数量": "1200套",
            "单价": "",
            "总价": "7896.00",
            "币制": "USD",
            "原产国(地区)": "中国",
            "最终目的国(地区)": "美国",
            "境内货源地": "杭州其他",
            "征免": "照章征税",
            "规格型号(申报要素)": ""
        }
    ]
}
```

 

批量处理与RAG支持:GLM-OCR支持大批量文档的识别与解析,其高精度的识别能力和规整的输出格式,可为检索增强生成(RAG)提供坚实基础。

更快、更便宜

速度方面,智谱对比了在相同硬件环境与测试条件下(单副本,单并发),分别以图像文件和 PDF 文件为输入,不同 OCR 方法完成解析并导出 Markdown 文件的速度差异。结果显示,GLM-OCR 处理 PDF 文档的吞吐量达 1.86 页/秒,图片达 0.67 张/秒,速度显著优于同类模型。

沐曦

价格方面,API 输入输出同价,仅需 0.2 元 / 百万 Tokens。1元即可处理约2000张A4大小扫描图片或200份10页简单排版PDF,成本约为传统 OCR方案的1/10。

技术细节

在训练策略方面,GLM-OCR 率先将多 Tokens 预测损失(MTP)引入 OCR 模型训练过程,以增强损失信号密度并提升模型学习效率。并且,通过持续且稳定的全任务强化学习训练,能够显著提升模型在复杂文档场景下的整体识别精度与泛化能力。

上述性能提升还得益于 GLM-OCR 在多模态模型结构上的系统性设计。模型整体采用“编码器—解码器”架构,继承自 GLM-V 系列,由视觉编码器(ViT)、跨模态连接层和语言解码器三大核心模块组成。其中,视觉侧集成了自研的 CogViT 视觉编码器(400M 参数),并在数十亿级图文对数据上引入 CLIP 策略进行大规模预训练,使模型具备了强大的文字与版面语义理解能力。

为实现视觉与语言信息的高效融合,GLM-OCR 设计了一套轻量而高效的连接层结构,融合 SwiGLU 机制并引入 4 倍下采样策略,能够精准筛选并保留关键视觉 Token,将高密度语义信息高效传递至后端的 GLM-0.5B 解码器,从而支撑高精度的 OCR 识别输出。

在整体系统层面,GLM-OCR 采用“版面分析 → 并行识别”的两阶段技术范式。其中,版面分析模块基于 PP-DocLayout-V3 实现,能够在版式多样、结构复杂的文档场景下实现稳定、高质量且高效率的 OCR 解析效果。

开源与在线体验

1.开源地址

Github:https://github.com/zai-org/GLM-OCR

Hugging Face:https://huggingface.co/zai-org/GLM-OCR

2.模型API

智谱开放平台:https://docs.bigmodel.cn/cn/guide/models/vlm/glm-ocr

开放平台特惠尝鲜礼包已上线:https://bigmodel.cn/special_area

Z.ai:https://docs.z.ai/guides/vlm/glm-ocr

3.在线体验

Z.ai:https://ocr.z.ai

关于沐曦股份

沐曦股份致力于自主研发全栈高性能GPU芯片及计算平台,为智算、通用计算、云渲染等前沿领域提供高能效、高通用性的算力支撑,助力数字经济发展。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分