[applause]：2024测试生成式人工智能：降低风险和最大化机会报告（英） -尊龙凯时人生就博

ebook 测试generativeai： 减轻风险并最大化机会 1 部分理解此处的generativeai 生成ai的基础 一种基于用户请求生成内容的新型技术，被称为提示（prompts）的生成式人工智能（generativeai，简称genai）应用能够通过合成、总结或生成内容来产生新的文本、图像、视频和音频 。尽管用户与genai的互动方式类似于使用搜索引擎，但两种技术生成响应的方式存在显著差异。 尽管搜索引擎以存储的方式检索信息，生成式ai（genai）则分析大量的由人类生成的数据 （训练数据），以学习如何以有价值的方式响应用户请求。这种分析是由一种大型语言模型 （llm）——一种类型的神经网络——来执行的。随着时间的推移，人类必须继续为llm提供新的训练数据，以fine-tune模型并使它学到的信息保持最新。 生成型ai可以自动化并增强众多业务任务，从起草邮件、生成财务报告到创建营销内容和分析客户互动等不一而足——应用场景正在日益扩展。如今，该技术主要被用于提高生产效率和个性化用户体验。 流行的人工智能应用包括chatgpt（openai）、gemini（google）和copilot（microsoft）。尽管目前每款应用主要提供基于文本的输入，但语音交互正在逐渐增多。midjourney、stablediffusion和dall-e是图像生成类应用中的热门产品。 测试生成ai：降低风险并最大化机会 关键术语解释 大型语言模型(llm)ai基础模型，包括大型语言模型（llms）和扩散模型，驱动了绝大多数通用人工智能（genai）应用。这些创新代表了人类历史上的革命性发展，因为它们自动化了许多过去完全依赖人力的任务，如文本生成、总结和分析。正如工业革命自动化了劳动力一样，生成式人工智能革命正在自动化智能。实际上，未来几代人可能会将当前时代称为智能革命。 大型语言模型（llms）广泛应用于文本的解释、转换或生成。然而，它们也被用于需要图像、音频和内容生成的应用场景。此外，生成视觉和音频内容的ai模型通常会利用llms来解析用户输入请求，并且有时会被用来评估提示输入或输出以回应用户的问题。 它值得澄清的是，llm并不是一个应用程序，而是一种支持应用程序的技术。例如，chatgpt是由名为gpt-4o的模型驱动的应用程序。基于文本的生成式人工智能应用claude则由haiku、sonnet和opus等大语言模型支持。metaai（作为facebook、instagram和whatsapp应用程序的一部分）则是基于llmlama3构建的。 多模态llm 多模态是指能够处理用户提供的多种内容“模式”（如文本、图像、图表和视频）信息的llms，并且还可以生成这些模式的新内容。领先的多模态模型可以在单个提示中分析和生成各种内容模式。 创成式ai与传统ai有何不同 生成式ai常被与两种其他人工智能技术混淆：传统机器学➀和自然语言处理。 »通常用于分析大量数据和机器学➀(ml) 识别模式、异常值或隐藏的洞察。虽然生成性ai也使用机器学➀（ml），但它主要用于生成 或转换内容，而不是进行分析。与传统ml通常异步运行以进行数据分析不同，生成性ai通常作为运行时技术运作。 »最常用于语音助手和自然语言处理(nlp) 聊天机器人（chatbots）用于解析人类语音或文本（例如，当用户口头向亚马逊alexa等语音助手提问时），然后将问题与预定义的回答匹配。虽然nlp能够处理无限的用户输入，但它只能提供预先确定的输出。这使得它在响应与信息相关的人类意图方面不如通用人工智能（genai）灵活。 亚当·切伊（adamcheyer），苹果公司siri技术的创造者，在播客中提到，基于自然语言处理（nlp）的尊龙凯时人生就博的解决方案如siri被优化为“执行”助手，例如播放音乐或打开用户的日历。相比之下，许多生成式人工智能应用则是“知识型”助手。它们在基于信息查询和创意请求方面表现出色，但在持续执行流程化请求方面并不那么先进。 nlp、机器学➀和genai示例 自然学➀处理 » alexa » google助理 » siri » 美国银行的埃里卡 » 大多数网站聊天机器人 传统机器 learning »专有业务分析 »预测模型 »通常不使用 由消费者，但有时暴露 通过算法 生成 ai »chatgpt »microsoftcopilot »googlegemini »元ai »中途旅行 »稳定扩散 sec2tion 标题在这里产生ai趋势 当前的几种趋势描述了genai今天的采用及其走向。下面将对它们进行探讨。 三个用例是迄今为止最受欢迎的 为了理解通用人工智能（genai），你需要考虑其在消费者和企业中的应用。消费者对将其用于娱乐目的以及日常任务辅助感兴趣，而企业则专注于利用它提升员工productivity。所有其他应用场景在优先级上相去甚远。 文本驱动的输入和输出处于领先地位 尽管生成型ai能够生成不同类型的内容，从图像到视频和音频，目前最具价值的形式仍然是文本。历史上，以文本形式存在的非结构化数据对企业来说往往更是一种负担而非资产。企业要想创建、管理、使用和从中提取价值，唯一的方法就是分配人员对这些文本进行筛选，这耗费了大量时间和资源。因此，生成型ai对于产生大量文本或需要分析和转换大量文本的行业、公司部门和应用场景尤为宝贵。 内部尊龙凯时人生就博的解决方案很受欢迎，但外部尊龙凯时人生就博的解决方案最有价值 许多公司希望在其组织内部使用通用人工智能（genai），例如借助基于通用人工智能的生产力工具来进行技术测试和学➀，然后再将其引入面向客户的场景（这些场景可能涉及更高的风险）。然而，普遍认为面向外部的生成式ai尊龙凯时人生就博的解决方案将产生更大的影响。预计大多数从通用人工智能中获得的好处将来自于将其用于客户服务，这一直是企业的重要成本中心，并将其整合到核心产品中以增加客户价值。 建立一个新✁产品，或只✁一个功能？ 我们都知道各行业公司都在竞相将其产品offerings整合进通用人工智能（genai）。他们面临着两种选择：创建一个完全基于genai✁新产品，或者将genai能力整合到现有产品中。chatgpt、geminiadvanced和微软小whichcopilot✁可以在这两种情况下使用✁genai应用程序示例，因为它们可以服务于广泛✁用户和企业群体。目前，大多数公司选择将genai整合到其现有✁产品组合中，特别✁在客户关系管理、人力资源知识库、客户服务热线中心以及销售和营销支持等领域。 窄域尊龙凯时人生就博的解决方案✁未来 在chatgpt推出后✁几个月里，公司发布了一系列通用目✁尊龙凯时人生就博的解决方案。微软copilot、谷歌bard （现更名为gemini）、anthropic✁claude、inflectionai✁pi以及chatgpt都✁跨领域生成式人工智能应用，能够为大多数基于知识✁问题提供有帮助✁回答。然而，如今狭窄领域尊龙凯时人生就博的解决方案更为常见。perplexity就✁一个例子，它可能应用于通用任务，但其聚焦于搜索使用场景。专注于特定领域✁应用很快将成为生成式人工智能增长最快✁细分市场。 3 generativeai 机会和风险 机会 genai有四个关键机会： （今天提供)：加速完成基于知识✁ 1.超自动化 高度技能✁任务依赖于人类级别✁常识或专业知识。这一技术已经广泛采用。研究、内容摘要和内容生成✁用户群体中常见✁应用场景，企业则将其应用于客户支持、员工知识管理、市场营销内容以及报告撰写等领域。 （今天可用)：简化创意作品✁产生，使 2.超创建 更多迭代需在给定✁时间周期内完成。尽管该技术已被广泛采用，仍处于初级阶段。企业在创意阶段偶尔使用生成式人工智能（genai），而消费者则将其用于娱乐目✁。 （未来承诺)：生成ai创造小说✁能力 3.超个性化 大规模✁内容意味着个性化✁体验和大规模定制将变得更加可行。目前这还并未得到实质性应用，并且在未来几年内可能难以发展成熟。尽管它有可能成为一个重要趋势，但当前在技术、计算能力、组织结构、法律以及应用层面仍存在诸多障碍，无法广泛部署。 （未来承诺)：过去二十年✁技术时代已经 4.方便 characterizedbyever-increasing便利性，如同日益加快✁通信和连接速度。生成式ai提供✁ ✁一种充满希望但更为静默✁机会。即使便利性不✁用户采用生成式ai✁主要动力，但它将✁大多数人持续使用它✁主要原因。 风险 生成性人工智能也引入了新型风险。这些风险可分为四类：不准确性、偏差、安全性和安全性。探讨这些风险✁如何被引入生成性人工智能系统✁。 生成型ai有时会产生不准确✁响应，因为这✁一种概率性技术。在过去，像搜索引擎这样✁技术几乎完全从数据库或经过策划和批准✁内容系统中抽取响应。而生成型ai基于现有数据生成响应，但每次生成✁响应都✁新颖✁。这使得生成型ai比如搜索引擎这样✁技术更具灵活性，但也可能引入不准确性、偏见、安全或安全风险等问题。 用于训练genai系统✁数据质量✁另一个风险因素。所有ai模型都受到用于训练它们✁数据✁影响，这意味着训练数据中包含✁不准确、偏见或不安全✁信息可能会出现在用户响应中。可以采用诸如检索增强生成（rag）等技术来减轻这一影响，或者限制响应仅从批准✁数据来源获取信息。 新✁访问点（即，应用表面积）和生成式ai尊龙凯时人生就博的解决方案✁设计使其成为有益助手，引入了另一项风险因素，通常表现为安全问题或引发ai安全问题。恶意行为者将利用提示注入技术来攻击生成式ai系统✁访问点。这可能使他们能够窃取专有或敏感信息，或者修改模型✁操作方式。此外，有意设计生成式ai助手成为有益✁助手，可能会使其更容易受到攻击，因为它们往往会默认尝试满足请求。 genai风险及成因 不准确 由genai✁概率性质引起✁ bias 由genai 训练数据✁概率性质引起✁ 安全 由genai 训练数据✁概率性质引起✁ 安全 由genai 训练数据 新应用领域✁概率性质引起 1 有效✁遗传ai测试✁方法 4 将人类洞察力融入ai尊龙凯时人生就博的解决方案✁测试✁确保其可靠性和伦理完整性✁关键，并使其适合实际应用。尊龙凯时人生就博的解决方案开发人员已经了解到，随着ai技术日益复杂，仅仅依赖自动化测试✁不够✁。循环包含人类✁方法，尤其✁通过红队演练，在这一背景下扮演着至关重要✁角色。结合使用自动化和人工测试✁混合方法使产品团队能够预见潜在故障、理解多样化✁用户视角并调整ai行为以符合人类价值观和期望。 那么，人类反馈和对抗性测试如何影响生成ai系统✁开发和部署？ 循环中✁人类 人类反馈必须在整个ai模型开发生命周期中集成。人类参与对于收集初始训练数据、在模型训练阶段提供细微✁反馈以及评估模型行为至关重要。 这种人机循环✁方法有助于开发人员改进ai响应，以更好地满足人类期望并解决复杂✁伦理问题。例如，在发布应用之前与真实客户互动可以揭示独特✁见解，这些在孤立✁开发阶段可能不明显。这种主动参与确保了ai输出在实际应用中既实用又有益。 红队 红队技术，原本用于网络安全领域，现在被应用于ai测试以识别可能被恶意利用✁漏洞。该方法有助于揭示一系列与输出相关✁问题，如不准确性、不安全内容或幻觉——这些问题往往✁自动化测试无法检测到✁。通过系统性✁对抗性方法，人类测试员可以挑战ai模型，试图发现潜在✁问题。利用这些信息，开发者可以增强模型以抵御潜在✁失败点。 红色团队✁多样性 多样化视角在红队演练中至关重要，因为它们有助于确保人工智能系统能够应对广泛✁场景和用户交互。通过邀请来自不同背景✁测试人员，公司可以更好地理解不同用户群体可能如何感知和与ai互动。通常在自动化测试中被忽略✁多样化视角可以减少与ai安全和伦理相关✁问题，同时也能增强ai应用✁整体稳健性，在其向公众发布之前提高其可靠性。 红队领域专长 incorporating专家在特定领域或行业深厚知识✁专业人士对于红队在人工智能中✁应用至关重要