ai智能測(cè)試（自動(dòng)化測(cè)試ui）
未來(lái)趨勢(shì)： 終極的智能自動(dòng)“提示工程師”將是另一個(gè)AI。人類(lèi)角色轉(zhuǎn)變?yōu)椤跋到y(tǒng)設(shè)計(jì)師”和“目標(biāo)定義者”，測(cè)試AI負(fù)責(zé)探索和優(yōu)化提示空間。化測(cè)
手動(dòng)設(shè)計(jì)和優(yōu)化提示詞是智能自動(dòng)一個(gè)需要專(zhuān)業(yè)知識(shí)和反復(fù)試驗(yàn)的迭代過(guò)程，可能非常耗時(shí) 為了應(yīng)對(duì)這一挑戰(zhàn)，測(cè)試一個(gè)更前沿的化測(cè)領(lǐng)域應(yīng)運(yùn)而生：元提示（Meta-Prompting），將LLM本身用作優(yōu)化器，智能自動(dòng)用自然語(yǔ)言描述優(yōu)化任務(wù)，測(cè)試大模型自動(dòng)迭代生成和改進(jìn)提示詞?；瘻y(cè)
為什么要進(jìn)行自動(dòng)化提示詞優(yōu)化？提升效率：手動(dòng)設(shè)計(jì)提示詞勞動(dòng)密集、智能自動(dòng)耗時(shí)，測(cè)試AI優(yōu)化提示詞的化測(cè)效率和效果遠(yuǎn)超人類(lèi)能加大減少人力和時(shí)間成本超越人類(lèi)直覺(jué)：LLM能夠探索和發(fā)現(xiàn)人類(lèi)可能想不到的、非直觀但效果更優(yōu)的智能自動(dòng)提示詞結(jié)構(gòu)和措辭。
一個(gè)著名的測(cè)試?yán)邮峭ㄟ^(guò)自動(dòng)化方法發(fā)現(xiàn)的“Let’s think step-by-step”這一零樣本思維鏈提示，其效果超越了許多人工設(shè)計(jì)的化測(cè)復(fù)雜提示 系統(tǒng)化優(yōu)化：元提示將提示詞設(shè)計(jì)從一門(mén)“手藝”轉(zhuǎn)變?yōu)橐粋€(gè)可以被算法驅(qū)動(dòng)和系統(tǒng)化改進(jìn)的“工程問(wèn)題”，使得大規(guī)模優(yōu)化提示詞成為可能 。
如何自動(dòng)化設(shè)計(jì)提示詞對(duì)于產(chǎn)品經(jīng)理和業(yè)務(wù)人員來(lái)說(shuō)，雖然元提示的底層技術(shù)（如APE框架）可能很復(fù)雜，但其核心思想可以通過(guò)一種“與AI協(xié)作”的對(duì)話(huà)式工作流來(lái)實(shí)現(xiàn)這意味著你從“提示詞作者”轉(zhuǎn)變?yōu)椤疤崾驹~總監(jiān)”，指導(dǎo)AI為你構(gòu)建最佳工具。
以下是一個(gè)簡(jiǎn)單實(shí)用的方法：第一步：清晰定義你的目標(biāo)像任何項(xiàng)目開(kāi)始時(shí)一樣，首先要明確你希望最終的提示詞能完成什么任務(wù)這個(gè)初始指令要簡(jiǎn)潔明了示例：“我需要一個(gè)生產(chǎn)級(jí)的提示詞它的功能是：扮演一名頂級(jí)的市場(chǎng)營(yíng)銷(xiāo)文案專(zhuān)家，為一款新的移動(dòng)端筆記應(yīng)用生成5個(gè)吸引人的廣告標(biāo)題。
目標(biāo)用戶(hù)是大學(xué)生和年輕職場(chǎng)人”第二步：讓AI生成初始版本的提示詞現(xiàn)在，你可以要求LLM為你草擬第一個(gè)版本的提示詞為了得到一個(gè)高質(zhì)量的起點(diǎn)，你的指令應(yīng)該包含對(duì)提示詞本身的要求示例元提示：“請(qǐng)基于我上面的目標(biāo)，為我生成一個(gè)詳細(xì)、結(jié)構(gòu)化的生產(chǎn)級(jí)提示詞。
請(qǐng)?jiān)谶@個(gè)提示詞中，使用角色提示（RolePrompting）和少樣本（Few-shot）技巧請(qǐng)使用Markdown格式來(lái)組織結(jié)構(gòu)，包含明確的‘角色’、‘規(guī)則’、‘任務(wù)’和‘示例’部分”第三步：提供反饋，迭代優(yōu)化。
LLM會(huì)返回一個(gè)結(jié)構(gòu)化的提示詞草稿現(xiàn)在你的工作是像評(píng)審原型一樣，對(duì)這個(gè)草稿提出具體的、可執(zhí)行的修改意見(jiàn)通過(guò)對(duì)話(huà)，引導(dǎo)AI不斷完善示例迭代對(duì)話(huà)：你：“這個(gè)初稿不錯(cuò)但在‘規(guī)則’部分，請(qǐng)補(bǔ)充一條規(guī)則：‘標(biāo)題必須包含一個(gè)強(qiáng)有力的動(dòng)詞’。
另外，‘示例’部分只給了一個(gè)好例子，請(qǐng)?jiān)傺a(bǔ)充一個(gè)‘壞例子’，并解釋為什么它不好，這樣模型能更好地學(xué)習(xí)”AI：（生成修改后的版本）你：“現(xiàn)在，我們來(lái)優(yōu)化‘角色’定義‘市場(chǎng)營(yíng)銷(xiāo)文案專(zhuān)家’有點(diǎn)寬泛請(qǐng)把角色修改得更具體：‘你是一名專(zhuān)門(mén)為90、00后消費(fèi)者撰寫(xiě)社交媒體廣告文案的專(zhuān)家，風(fēng)格風(fēng)趣、用語(yǔ)新潮’。
”AI：（再次生成更新版本）第四步：測(cè)試并最終確定將AI優(yōu)化后的提示詞投入實(shí)際測(cè)試，使用一些真實(shí)的輸入數(shù)據(jù)來(lái)檢驗(yàn)其輸出效果如果發(fā)現(xiàn)問(wèn)題，可以繼續(xù)回到第三步的反饋循環(huán)中，直到你對(duì)結(jié)果滿(mǎn)意為止這個(gè)協(xié)作過(guò)程的背后邏輯是，它結(jié)合了人類(lèi)和AI各自的優(yōu)勢(shì)：。
人類(lèi)（產(chǎn)品/業(yè)務(wù)經(jīng)理）：提供戰(zhàn)略方向、業(yè)務(wù)背景、最終目標(biāo)的定義以及對(duì)產(chǎn)出質(zhì)量的最終評(píng)判標(biāo)準(zhǔn)大型語(yǔ)言模型（LLM）：基于其對(duì)語(yǔ)言模式的深刻理解，提供戰(zhàn)術(shù)層面的實(shí)現(xiàn)，即具體的、最能有效引導(dǎo)其自身行為的措辭和結(jié)構(gòu) 。
這種人機(jī)協(xié)同的方式，使得非技術(shù)人員也能夠系統(tǒng)地、高效地創(chuàng)造出原本需要深厚技術(shù)背景才能設(shè)計(jì)的復(fù)雜提示詞，是提示詞工程領(lǐng)域一個(gè)重要的發(fā)展方向彩蛋：自動(dòng)化提示詞模版1. 用于提示詞評(píng)估和優(yōu)化的模版用法：用這個(gè)提示詞創(chuàng)建一個(gè)簡(jiǎn)單的對(duì)話(huà)智能體，然后輸入你起草的提示詞，讓大模型對(duì)你起草的提示詞進(jìn)行評(píng)分和調(diào)優(yōu)。
2. 完美提示詞生成模版用法：用這個(gè)提示詞創(chuàng)建一個(gè)簡(jiǎn)單的對(duì)話(huà)智能體，然后輸入你的要求，讓大模型根據(jù)你的要求直接設(shè)計(jì)提示詞注意：這個(gè)提示詞很長(zhǎng)，以下全文都是提示詞內(nèi)容本文由 @Mrs.Data 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。
未經(jīng)作者許可，禁止轉(zhuǎn)載題圖來(lái)自Unsplash，基于CC0協(xié)議該文觀點(diǎn)僅代表作者本人，人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)