科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

释放双眼,带上耳机,听听看~!
Meta雷朋智能眼镜支持多模态Llama 3,实现了科幻大片中的AR黑科技在现实生活中的应用。智能眼镜功能包括实时翻译、音乐播放、语音信息发送等,为用户提供了全新的智能体验。

科幻大片中的AR黑科技,竟走进了现实!

就在刚刚,Meta自家的雷朋智能眼镜,已经开始支持多模态版的Llama 3了!要知道,Llama 3的开源版本还没支持多模态呢。

就在最近,小扎还在访谈中承认愿意开源价值100亿美元的模型,不过,如果涉及到产品侧,那就是另一回事了。

诶,产品这不就来了么——

戴上这副智能眼镜,外出旅行坐车感到无聊时,可以让Meta来点音乐。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

带着AR眼镜,还可以直接翻译不认识的语言。又或者在路上腾不出手时,Meta可以给好友发语音信息。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

走到一座建筑前,呼叫Meta告诉自己关于它更多的信息。

甚至,视频电话、直播,科普等,只要是你能想到的,AR眼镜全可以做的到。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

Meta介绍,去年12月便开始在雷朋Meta智能眼镜上,测试了多模态AI。目前,已经在美国和加拿大地区销售的眼镜上推出了这一新功能。

小扎也来炫技了

这款眼镜配备了一个1200万像素的摄像头和五个麦克风,集成Meta AI助手后,意味着带着它可以做更多的事。

你看到的任何东西,它都能描述出来。

只需说一句,「Hey Meta,看看这个,告诉我它是什么?」,语音命令即可控制。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

看着厨房柜台上一堆食材,Meta能够迅速制作出相关的食谱。

更有意思的是,小扎本人还在Ins发布一个带上智能眼镜,为自己挑选衣服的视频。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

他挑选了一个深色的衬衣,并问Meta我应该搭配个什么样的裤子。Meta给出了牛仔裤、短裤的建议。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

他还让智能眼镜给一张萌宠的照片,配上了有趣的描述。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

小扎手里拿着一种水果,智能眼镜能告诉他这是面包果。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

而对于AR眼镜来说,实时翻译将成为一款杀手级应用。

当你旅行时,正在试着读一份法语菜单。不用查阅手机,智能眼镜就可以完成实时翻译。

它甚至可以阅读不同语言的手势,简直是旅行必备单品。

此外,除了得到多模态Llama 3的加持,Meta还公布了智能眼镜集成了WhatsApp和Messenger的免提视频通话。

与此同时,不同时尚款式的镜框设计,都可以专配处方镜使用。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

不过,这款智能眼镜起价为300美元(2100元),并不便宜。

实测外出识物,比手机方便

蹭着更新的热乎劲儿,外媒The Verge发布了提前拿到内测资格的评测。

前段时间,Humane智能设备AI Pin因性能不如人意,全网陷入了非议之中。关键是700美元,根本不值。

作者表示,「我们要对Meta智能眼镜的期望值不要太高,因为它并非无所不能」。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

测试中的一半的乐趣,就是找到它的极限在哪。

它能否正确识别街上这辆随机的汽车?(一辆Alfa Romeo Giulia Quadrifoglio和一辆Alfa Romeo Tonale)。

与大多数AI一样,Meta AI有时非常准确,有时又会出现幻觉。

它正确地识别出了Giulia。但Tonale也被识别为Giulia。

但有趣的是,这两款车几乎没有相似之处,Giulia是一款轿车,而Tonale是一款跨界SUV。

作者还让它识别自己种的多肉植物(由于有些是别人送的,自己也并不完全清楚具体品种)。

Meta回答的是,「Echeveria、aloe vera芦荟和Crassula品种」。

但其实,作者用可通过AI照片识别植物的应用程序Planta进行验证,发现植物当中没有一株是Echeveria。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

最精彩的是,作者的爱人偶然看到邻居家后院一只大松鼠,戴上智能眼镜去要识别出是什么品种。

作者用手机拍下了照片,并用另一款应用试了一番。

果然,Meta识别错了,而作者使用的APP成功识别出它是土拨鼠。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

然而,当再用智能眼镜去识别手机中的照片时,确给出了「土拨鼠」正确的答案。

这个案例中,说明了AR眼镜缺少「变焦」功能,才导致回答错误。

除了多模态识别能力之外,作者测试其与手机配对时,响应速度也是非常地快。同时,智能眼镜将声音功能集成一体,省去了戴眼镜的麻烦,让交互更加自然。

科幻大片中的AR黑科技现实应用:Meta雷朋智能眼镜支持多模态Llama 3

总得来说,Meta智能眼镜在户外活动,AI助手在识别事物上发挥了巨大的作用。

以往,作者外出看到感兴趣的东西时,需要掏出手机拍照在识别。

而现在,智能眼镜也可以很好地延伸手机的能力,前提是不要将想要识别的内容放大很多倍。

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI资讯

腾讯汽车行业全域智能大模型方案发布

2024-4-24 15:01:45

AI资讯

人工智能驱动的供应链管理:未来的重塑者

2024-4-24 15:22:06

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索