云计算·大数据 频道

Google内部质疑大模型的可用性

  最近几个月,Google 为 Bard 用户在 Discord 上开设了一个论坛频道,这个频道是邀请制的,只邀请一些重度用户。Bard 是 Google 基于 AI 的聊天机器人。Google 的产品经理、设计师和工程师在这个频道上公开讨论 AI 工具的实际效果和价值,其中有些人质疑投入巨大资源进行 AI 开发是否值得。

  “我的原则是,除非可以亲自验证,否则我不会轻信 LLM 的输出结果。”Bard 高级产品经理 Dominik Rabiej 在 7 月的 Discord 聊天中提到。他谈到的 LLM 是像 Bard 或 OpenAI 公司的 ChatGPT 那样,经过了大量文本数据进行训练的 AI 系统。他说:“我希望能够让你们信任它,但现在似乎还没达到那个程度。”

  “我一直在思考的最大难题是:在真实场景中,LLM 的真正用途是什么?”Bard 用户体验负责人 Cathy Pearl 在 8 月份说道,“它真的能带来什么实质性的改变吗?这还有待观察。”

  3 月份作为对 OpenAI 的 ChatGPT 机器人的回应,Google 推出了 Bard,之后,他们为这款产品持续增加了许多新功能,其中包括让这款 AI 工具能够分析照片,并用多种语言回应用户的查询。上个月,Google 发布了迄今最大胆的更新:将 Bard 与其众多受欢迎的服务,如 Gmail、Map、Doc 和 YouTube 相连接。公司从 9 月 19 日开始,首先用英文推出了这些应用程序的集成。

  但是,随着 Google 将 Bard 更深入地融入其核心产品,公司也面临关于该工具制造虚假信息和提供有潜在危害的建议的投诉。与公司推出应用程序扩展的同一天,它还为 Bard 加入了一个 Google 搜索按钮,旨在帮助用户使用搜索引擎来验证 AI 产生的答案的真实性。

  其他专家对 Bard 在训练过程中涉及的数千名低薪合同工的工作条件表示关切。根据这些员工的说法,他们经常需要在短时间内完成复杂的任务。无论是在公司内部还是外部,这家互联网搜索巨头因迅速追赶竞争而牺牲信息质量,同时忽视伦理问题,都遭到了广泛的批评。

  对 Google 来说,确保 Bard AI 聊天机器人的成功是至关重要的。这家公司在搜索业务上无疑占据了领先地位,这也是为其母公司 Alphabet 带来大约 80% 收入的主要来源。然而,随着生成式 AI 的兴起,Google 的搜索主导地位正面临挑战。一些人预测,来自 OpenAI 和其他初创公司的新颖而受欢迎的工具,有可能动摇 Google 在搜索市场上的领先地位。

  在 Google 的 Bard 社区中,两名 Discord 平台上的参与者在 7 月至 10 月间与彭博社分享了该频道的讨论内容。彭博社所审查的众多消息为我们揭示了最为熟悉 Bard 的人是如何使用和评价它的,同时,这些信息也显示出,即便是那些负责开发这款聊天机器人的公司高层,也对该工具的前景存在分歧。

  Rabiej 在详细说明他 “不信任” 由 LLM 生成的答案时,建议将 Bard 的使用限制于 “创意/头脑风暴” 之类的应用。Rabiej 还表示,将 Bard 用于编程也是一个好的选择,因为 “你会不断地检验代码是否有效!”

  Google 在一份声明中表示,Google 的 Discord 频道上关于 Bard 的优缺点的讨论是产品开发中 “寻常且预料之中” 的部分。Google 发言人 Jennifer Rodstrom 表示:“自从 Bard 作为一个尝试项目被推出来以后,我们就迫切希望听到用户的反馈,了解他们喜欢的功能,以及我们如何能进一步改善用户体验。” 她进一步指出:“与 Discord 上的用户建立讨论渠道,只是我们做到这一点的众多方法之一。” 该公司还强调,他们首先作为一个邀请制的社区推出了这个 Discord 服务,之后会陆续对更多人开放。

  当 Bard 首次发布时,公司就直言不讳地提到了它的局限性,包括这款 AI 工具可能生成似是而非的谎言。每当有人使用 Bard 时,Google 都会在该工具上加入一个声明,内容为:“Bard 可能展示出不准确或令人反感的信息,这并不代表 Google 的立场。” 公司还提到,在 Bard 正式发布之前,他们已经进行了对抗性测试 —— 这旨在探索它对潜在的恶意行为的反应,他们预期随着公众的持续使用,公司将对它有更深入的了解。

  该 Discord 服务于七月份开设,当时给 Bard 的外部用户发送了上千份邀请。邀请函于 7 月 10 日发出,内容是:“与 Bard 背后的团队直接分享想法和意见,提前获知产品的更新,与其他 AI 爱好者互动。” 该服务被描述为 Bard 用户的 “官方” 社区。Bard 在欧洲发布时,其高级产品总监 Jack Krawczyk 向社区发送了一段自拍视频。

  Discord 未就此次聊天发表评论。

  目前,这个在线社区有将近 9000 名会员,其中一些聊天的版主是 Discord 员工。大部分讨论都是赞扬 Bard 和 AI 的;一些用户对这个工具有过夸张和可能误导的描述,比如他们声称用 Bard 构建了一台量子国际象棋计算机,或者说他们用这个机器人从网上搜索棒球赌注的数据,并进行复杂模拟。(Google 员工在 Discord 聊天中表示,Bard 并不具备这些功能。)

  Daniel Griffin,刚从加州大学伯克利分校获得博士学位,九月份加入了 Discord 组。他提到,对于开源软件和小型搜索引擎工具的爱好者来说,进行非正式的聊天很常见。但他也写过关于 Google 如何影响公众对其产品的看法的文章,他表示他觉得这次聊天有些 “神秘”。

  他进一步提到,Bard Discord 聊天可能只是一个未公开的、大规模、长期的焦点小组,或是一个 AI 爱好者的社区。但鉴于 Google 的影响力以及公开讨论这些新工具的重要性,他对此表示担忧。他注意到,Google 的其他社区反馈对公众更为开放。

  在 Bard 论坛中,用户也提到了其他与 Google 相关的敏感问题,这也反映出这家科技巨头是如何努力应对公众的批评的。七月中旬,一名小组成员提及了关于 Project Nimbus 的话题,这是一个 Google 和 Amazon 为以色列军队提供 AI 工具的合作,合同涉及金额高达 12 亿美元。当该成员提到对 Google 在此方面的作用表示担忧时,他很快就被小组禁言了,管理者告诉用户,在聊天中需要避免谈及 “政治、宗教或其他敏感话题”。

  同月,另一个用户质疑 Google 为什么要依靠 “低薪且工作强度大的合同工” 来优化 Bard 的回应。尽管公司已公开表示,并非完全依赖合同工来提升 Bard 的 AI,还有其他方法来提高它的精确度和质量,但 Bard 产品管理总监 Tris Warkentin 回应说,人的参与对于训练 Bard 的算法是非常关键的。

  Warkentin 在聊天中指出:“人的参与是很关键的,这样 Bard 才能适应每个人;反之,则意味着用户不能引导产品的功能,这在我看来将是一个巨大的错误。” 他进一步强调:“我们需要的不是一个高高在上的产品,而是一个能适应所有人的产品。”

  在 Discord 上,人们热烈讨论了维持 LLM 所需的巨额成本问题。一位用户问道:“有人在研究如何减少 LLM 所需的惊人资源成本问题吗,尤其是每次查询所需的水资源,和对 GPU 的大量需求(其生产涉及到大规模采矿)?”

  Bard 用户体验负责人 Pearl 回复:“我认为这有点像芯片设计或者超级计算机。我相信我们会不断寻找用更少资源获得同样性能的方法。”

  Bard 的准确性在聊天中也引起了广泛关注。产品经理 Warkentin 在讨论 Bard 制造虚构内容时强调,自该 AI 工具发布以来,Google 已经取得了长足进步。“我们正在致力于减少‘幻觉’现象并提高事实性,这是我们成功的关键标准,” 他表示。“自从发布以来,我们已经取得了很大的进步,但这仍将是一个持续的工作。所以请继续尝试,如果发现有什么不对,请及时给我们反馈!”

  九月底,Discord 上的 Bard 官方账户发布了 “办公时间” 活动的问答摘要,主要是解答社区关于 Bard 与 Google 应用新集成功能的问题。对于 Bard 在总结电子邮件时是否可能偏离事实的问题,Bard 的官方回答是:“我们已经尽量确保这种情况不会出现,但由于 Bard 仍在学习和成长中,这种情况有可能发生。” 它建议用户应该检查 Bard 使用的来源,并经常参考它们。“如果 Bard 在任何集成中产生错误,请在错误报告频道告诉我们!”

  Bard 产品经理 Rabiej 还强调了 AI 工具新推出的 “双重检查回应” 按钮的重要性。“它将用橙色突出显示可能不正确的内容。” 他在十月份说。他还指出,Bard 并不能真正理解它读取的文本,而是基于用户的提示生成新的文本:“请记住,Bard,和其他 LLM 一样,是生成文本的,而不是为你查找并总结信息的。”

  还有其他的员工对生成式 AI 持有疑虑。“撇开我对生成式 AI 可能带来负面影响的看法,我确实认为教育是这种技术可能的最有益的应用领域。”Bard 用户体验设计师 James 在 Discord 社区中这样表示。

  他进一步指出,各种教育机构可能使用这项技术,“为学生提供近乎全天候的支持,增强他们在不同学科上的学习体验。

0
相关文章