今日要点:
1、苹果在 iOS17 中加入transformer语言模型,用于提高文字和语音转文字时的准确性。
(相关资料图)
2、苹果开发人员:Vision Pro里用了“脑机接口”,通过检测眼睛等准确预测用户下一步要做什么
3、MetaVL: 将上下文学习能力从语言模型迁移到视觉,开启下一个多模态时代
4、Runway获得1亿美元D轮融资,谷歌领投
海外AI
苹果在今日更新的ios系统介绍中,阐述了使用transformer语言模型,用于提高文字和语音转文字时的准确性,通过用于单词预测——提高了用户每次键入时的体验和准确性。而这个模型如同苹果一直以来强调对用户的隐私保护一样,是在手机端的模型。
见智研究认为,苹果使用transformer模型用于一些基础应用符合苹果一直以来的务实精神,苹果从不强调某项技术是否先进,而是要在用户体验上做到极致。这也是苹果一直强调技术落地到应用的体现。
见智研究相信苹果设备在明年将会拥有自己的llm模型,而这个模型按照苹果一贯的隐私保护模式,应为纯本地化的模型。
一位在AR/VR领域工作十年、担任苹果AR神经技术研究员的网友Sterling Crispin发推文,介绍了苹果AR的神经技术研发
根据Crispin的介绍和苹果的专利说明,苹果的神经技术可以做到预测用户行为、根据用户状态调整虚拟环境。
最酷的结果是在用户实际点击之前预测他们会点击什么,人们的瞳孔在点击之前往往有反应,原因是人们会期望在点击之后会发生什么。
这时可以通过监测用户的眼睛行为来创造生物反馈,并实时重新设计用户界面,以创造更多预期的瞳孔反应。这是一个通过眼睛实现的粗略“脑机接口”,用户不用接受侵入性的脑部外科手术。
推断认知状态的其他技术,包括以用户可能无法察觉的方式向他们快速闪现视觉或声音,然后测量他们的反应。
见智研究认为,苹果通过全新的神经技术对人的行为进行预测,从而大幅减小了vision产品整个UI操作的延迟,大幅提升用户体验。从无数细节中可以看到,苹果在用搬山能力处理每一个细节,这个软硬整合能力,不是谁能可以随便模仿的,它所体现的每一个细节,都看出苹果花费巨大的功夫在解决交互体验。这也是苹果之所以伟大的地方。
见智研究一句话总结:
M Monajatipoor, L H Li, M Rouhsedaghat, L F. Yang, K Chang探索了将元学习的上下文学习能力从单模态迁移到多模态的可能性,证明了在视觉-语言任务中通过迁移可以显著提升上下文学习能力,甚至在模型大小方面实现优化。
这意味着多模态情况下的对话能力将得到加强,对于现有的文生图来说可能会带来新的变化,生成模式对用户将更友好。
生成式AI平台Runway获得1亿美元D轮融资(约7亿元),估值15亿美元,本次由谷歌领投。谷歌投资Runway的最大原因之一是为了争夺云计算客户。
Runway曾在4月底与谷歌签订了7500万美元的3年商业协议,同时Runway已从谷歌获得了价值2000万美元的云计算资源用于产品运营和研发。
见智研究曾使用过GEN-1生成相应视频特效,但目前可玩性不算高。Gen-2是Runway在今年3月最新发布的,但目前手机客户端还未提供使用。Gen-2可以通过文本、图片、文本+图片直接生成视频,同时支持风格化和渲染添加好莱坞式大片特效,仅需要几分钟即可完成所有操作。
风险提示及免责条款 市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
免责声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。如稿件版权单位或个人不想在本网发布,可与本网联系,本网视情况可立即将其撤除。