火山引擎发布豆包 1.5・视觉深度思考模型,新增 GUI Agent 能力


【导语】5月13日,火山引擎在上海举办的FORCE LINK AI创新巡展上震撼发布豆包1.5・视觉深度思考模型。该模型以仅20B的激活参数,展现出卓越的多模态理解和推理能力,在60项公开评测中38项达到业界最佳。豆包1.5在视频理解、视觉推理及GUI Agent能力上均领先业界,已正式登陆火山方舟平台,为AI技术创新和应用开启新篇章。

火山引擎发布豆包 1.5・视觉深度思考模型,新增 GUI Agent 能力

  5 月 13 日消息,在举办的 FORCE LINK AI 创新巡展・上海站上,火山引擎发布了豆包 1.5・视觉深度思考模型(Doubao-1.5-thinking-vision-pro),该模型激活参数仅 20B,但具备强大的多模态理解和推理能力,在 60 个公开评测基准中,有 38 个达到业界最佳表现(SOTA),在视频理解、视觉推理、GUI Agent 能力等方面均处于第一梯队。

  在视频理解领域,豆包 1.5・视觉深度思考模型支持动态帧率采样技术,显著增强了视频时序定位能力。结合向量搜索功能,模型能够精准定位视频中与文本(běn)描(miáo)述(shù)相(xiāng)对(duì)应(yīng)的(de)片(piàn)段(duàn),为(wèi)视(shì)频(pín)内(nèi)容(róng)的(de)深(shēn)度(dù)分(fēn)析(xī)和(hé)检(jiǎn)索(suǒ)提(tí)供(gōng)支(zhī)持(chí)。

  此(cǐ)外(wài),该(gāi)模(mó)型(xíng)新(xīn)增(zēng)了(le)视(shì)频(pín)深(shēn)度思考能力。通过学习数万亿多模态标记数据,模型积累了广泛的视觉知识,并借助强化学习技术,大幅提升了视觉推理能力。例如,在复杂的图形推理任务中,模型能够自主提出假设、进行推理检验,并在发现与假设不符时,不断反思并提出新的猜测,直至得出正确答案。

  值得注意的是,豆包 1.5・视觉深度思考模型还新增了 GUI Agent 能力。凭借强大的 GUI 定位性能,该模型能够在 PC 端、手机端等多种不同环境中完成复杂的交互任务。例如,它可对新开发的 App 功能进行自动化检测,目前这一功能已在字节跳动多款 App 产品的开发测试中进行应用。

  注:

  GUIAgent 是一种基于多模态视觉模型驱动的人工智能系统,能够自动推理并执行 UI 交互,模拟人类用户的操作,如点击、输入、拖拽、读取界面信息等,以完成人类要求的工作任务。

  目前,该模型已正式在火山方舟平台上线。


相关新闻


今日科普|C919自动化装配难题

当你在机场看到国产大飞机C919优雅起降时,可能想不到它的“诞生过程”有多硬核——这架拥有6万多个🍇零件、翼展35.8米的“钢铁巨兽”,其装配精度要控制在头发丝直径级别。更让人惊叹的是,沈阳中航沈飞民机工厂的自动化生产线,仅用6个关键零件就能创造年产值3亿元的奇迹。今天咱们就唠唠,C919在自动化装配路上啃下的五大“硬骨头”。第一块硬骨头:百万级制孔(kǒng)的(de)“针(zhēn)尖


今日科普|探秘自动化装配流程

想(xiǎng)象(xiàng)一(yī)下(xià),过(guò)去(qù)一(yī)条(tiáo)电(diàn)机(jī)装(zhuāng)配(pèi)线(xiàn)需(xū)要(yào)20名工(gōng)人(rén)轮(lún)班(bān)操(cāo)作(zuò),每(měi)天(tiān)最(zuì)多(duō)生(shēng)产(chǎn)500台(tái)电(diàn)机(jī);而


深圳市物联网产业协会成功举办《24小时自助图书馆通用规范》团体标准评审会

【导语】2019 年深圳市物联网产业协会发布的《24 小时自助图书馆通用规范》部分指标落后且引用文件有更新,不利行业发展。为此协(xié)会(huì)于(yú) 2024 年(nián) 11 月(yuè)启(qǐ)动(dòng)修(xiū)订(dìng)立(lì)项(xiàng),2025 年(nián) 10 月(yuè) 30 日(rì)召(zhào)开(kāi)评(píng)审(shěn)


全球智能视觉处理芯片龙头冲刺港交所:光环之下,何以冲破增长枷锁?

【导语】近日,智能视觉处理芯片龙头富瀚微递交港交所招股书,吹响“A+H”双上市号角。其虽在全球市场占据领先地位,但2022 - 2025年上半年营收、净利、毛利率均逐年下滑。不过,富瀚微注重研发创新,积极拓展AI新业务版图。此次赴港上市,能否助力其突破瓶颈、续写传奇,值得期待(dài)。   近(jìn)日(rì),智(zhì)能视觉处理芯片龙头富瀚微正式向港交所递交了招股书,吹响“


国家发改委等五部门:探索推动具身智能机器人进社区、进家庭,到 2027 年底建成 50 个以上全域数字化转型城市

【导语】10月31日,国家发展改革委等五部门发布《深化智慧城市发展推进全域数字化转型行动计划》,提出到2027年底建成50个以上全域数(shù)字(zì)化(huà)转(zhuǎn)型(xíng)城(chéng)市(shì),2035年(nián)涌(yǒng)现(xiàn)一(yī)批(pī)具(jù)有(yǒu)国(guó)际(jì)竞(jìng)争(zhēng)力(lì)的(de)现(xià


2025深圳安博会:大公博创揽三奖 低空安防技术引国内外媒体聚焦

【导语】2025年10月28日至31日,第二十届中国国际社会公共安全博览会在深圳启幕。成都大公博创信息技术有限(xiàn)公(gōng)司(sī)携(xié)全系(xì)列(liè)低(dī)空(kōng)安(ān)防(fáng)设(shè)备(bèi)参(cān)展(zhǎn),凭(píng)借(jiè)三(sān)项(xiàng)权(quán)威(wēi)大(dà)奖(jiǎng)、全栈(zh


业内首家:中国电信实现北斗语音消息服务

【导语】中国电信率先公开展示业内首个“北斗语音消息”服务,首创 AI 算法实现语音极速传输;与此同时,华为也在第四届北斗峰会上发布相关功能,其手(shǒu)表(biǎo)成(chéng)首(shǒu)款(kuǎn)支(zhī)持(chí)终(zhōng)端(duān),北(běi)斗(dòu)应(yīng)用(yòng)再(zài)掀(xiān)新(xīn)篇(piān)。 据(jù