ChatGPT的發(fā)布，讓AI正式加入工具箱,，不過(guò)寫prompt對(duì)于非英語(yǔ)母語(yǔ)者,、非AI從業(yè)者來(lái)說(shuō)仍然是一個(gè)難題。

在最近召開(kāi)的人機(jī)交互領(lǐng)域頂級(jí)會(huì)議ACM CHI （Conference on Human Factors in Computing Systems）2023上,，發(fā)表了大量基于大型語(yǔ)言模型的研究及工具,，能夠拉低ChatGPT類工具的使用門檻。

從事人機(jī)交互工作的前田納西大學(xué)教授Austin Z. Henley精選了八篇論文,，從提示的設(shè)計(jì),、訓(xùn)練，到改善編程教學(xué),、結(jié)構(gòu)化日志管理等,，打開(kāi)ChatGPT的正確玩法！

程序員和語(yǔ)言模型之間的概念匹配

「代碼生成」大型語(yǔ)言模型可以把用戶輸入的自然語(yǔ)言翻譯為代碼,，不過(guò)在近乎無(wú)限的自然語(yǔ)言輸入空間中,，只有一小部分指令可以準(zhǔn)確指導(dǎo)代碼生成。

對(duì)于非AI專業(yè)的終端用戶,，即普通程序員來(lái)說(shuō),，學(xué)習(xí)提示輸入的難題主要是抽象概念之間的匹配。

論文鏈接：https://dl./doi/pdf/10.1145/3544548.3580817

這篇論文在電子表格中的數(shù)據(jù)分析的特定背景下研究了這一難題,，使用Codex代碼生成器將用戶的自然語(yǔ)言query映射為Python代碼,、執(zhí)行代碼并顯示結(jié)果,。

研究人員提出了grounded抽象匹配，通過(guò)將代碼翻譯成系統(tǒng)的和可預(yù)測(cè)的自然語(yǔ)言,，來(lái)彌補(bǔ)抽象的差距,。

在一項(xiàng)受試者之間的思考-朗讀研究（n=24）中，研究人員將grounded抽象匹配與基于先前建立的查詢框架原則的ungrounded的替代方案進(jìn)行了比較,。

結(jié)果發(fā)現(xiàn),，有基礎(chǔ)的方法提高了終端用戶對(duì)代碼生成模型的范圍和能力的理解，以及有效使用所需要的語(yǔ)言種類,。

總結(jié)：為了幫助終端用戶編寫 LLM 提示,，研究人員設(shè)計(jì)了一個(gè)系統(tǒng)，將用戶的自然語(yǔ)言輸入映射到一系列系統(tǒng)操作,，可以準(zhǔn)確地向用戶傳達(dá)系統(tǒng)如何解釋他們的提示,，并給出一個(gè)可編輯的細(xì)粒度操作列表。

非 AI 專家如何嘗試(失敗)設(shè)計(jì) LLM 提示

像GPT-3這樣預(yù)訓(xùn)練的大型語(yǔ)言模型可以進(jìn)行開(kāi)箱即用的多輪指導(dǎo),，可以作為設(shè)計(jì)自然語(yǔ)言交互工具的基礎(chǔ),。

使用自然語(yǔ)言來(lái)引導(dǎo)語(yǔ)言模型的輸出（即提示prompt）已經(jīng)成為一種重要的設(shè)計(jì)技術(shù)，非人工智能專家也需要學(xué)習(xí)使用,。

不過(guò)制作有效的提示是具有挑戰(zhàn)性的,，而且基于提示的交互是很脆弱的。

這篇論文探討了非人工智能專家是否可以使用design probe成功地參與「終端用戶提示工程」,，一個(gè)基于LLM的聊天機(jī)器人設(shè)計(jì)工具原型,，支持開(kāi)發(fā)和系統(tǒng)評(píng)估提示策略。

論文鏈接：https://dl./doi/pdf/10.1145/3544548.3581388

最終,，研究中的probe參與者對(duì)提示設(shè)計(jì)進(jìn)行了機(jī)會(huì)性的探索而非系統(tǒng)性的探索,，但仍然很難讓參與者掌握終端用戶編程系統(tǒng)和交互式機(jī)器學(xué)習(xí)系統(tǒng)。

研究人員發(fā)現(xiàn),，源自人與人之間的教學(xué)經(jīng)驗(yàn)的期望,，以及過(guò)度泛化的傾向，是有效提示設(shè)計(jì)的障礙,，實(shí)驗(yàn)結(jié)果對(duì)于非人工智能專家面對(duì)的基于LLM的工具設(shè)計(jì)以及提高程序員和公眾的LLM和提示素養(yǎng)都有影響,，并為進(jìn)一步研究提供了機(jī)會(huì)。

總結(jié)：提示工程現(xiàn)在相當(dāng)流行,，但是非人工智能專家能寫出有效的提示嗎,？研究人員調(diào)查了人們?cè)趯懱崾緯r(shí)面臨的挑戰(zhàn)，并設(shè)計(jì)了一個(gè)工具來(lái)幫助這些非專業(yè)人士,。

VizProg: 通過(guò)可視化學(xué)生的編碼過(guò)程識(shí)別誤解

程序設(shè)計(jì)課的老師經(jīng)常在課堂上進(jìn)行練習(xí)，以幫助他們發(fā)現(xiàn)進(jìn)度落后的學(xué)生,，找出學(xué)生錯(cuò)誤理解的概念,。

不過(guò)研究人員在采訪編程導(dǎo)師時(shí)發(fā)現(xiàn),，在練習(xí)中監(jiān)控學(xué)生的進(jìn)度是很困難的，特別是對(duì)于大班學(xué)生,。

這篇論文提出了VizProg,，允許教師在課堂練習(xí)中實(shí)時(shí)監(jiān)控和檢查學(xué)生編程進(jìn)度的系統(tǒng)。

論文鏈接：https://dl./doi/pdf/10.1145/3544548.3581516

VizProg將學(xué)生的狀態(tài)表現(xiàn)為二維歐幾里得空間圖,，實(shí)時(shí)編碼學(xué)生的解決問(wèn)題的方法和進(jìn)度,。

VizProg使老師能夠?yàn)g覽學(xué)生代碼的時(shí)間和結(jié)構(gòu)演變，了解代碼之間的關(guān)系,，并確定何時(shí)提供反饋,。

對(duì)比實(shí)驗(yàn)表明，與基線系統(tǒng)相比,，VizProg有助于發(fā)現(xiàn)更多學(xué)生的問(wèn)題,；VizProg還為識(shí)別重要的學(xué)生行為提供了更豐富、更全面的信息,。

通過(guò)大規(guī)模地管理學(xué)生的活動(dòng),，這項(xiàng)工作為提高現(xiàn)場(chǎng)學(xué)習(xí)的質(zhì)量提出了一個(gè)新的范式。

總結(jié)：對(duì)于教師來(lái)說(shuō),，理解學(xué)生在課堂活動(dòng)中的表現(xiàn)是一個(gè)挑戰(zhàn),。研究人員設(shè)計(jì)了一個(gè)工具，實(shí)時(shí)可視化學(xué)生的不同手段,，展示全班的編輯距離視圖,，同時(shí)也允許教師檢查特定的提交。

基于人工智能的筆記本代碼助手設(shè)計(jì)

人工智能驅(qū)動(dòng)的代碼助手,，如Copilot,，正在迅速成為當(dāng)代編碼環(huán)境中無(wú)處不在的組成部分。

在這些環(huán)境中,，計(jì)算筆記本如Jupyter提供了豐富的界面,，能夠進(jìn)行探索性和展示性工作的方式將代碼和輸出同時(shí)展示。

盡管筆記本很受歡迎,，但人們對(duì)筆記本中代碼助手的適當(dāng)設(shè)計(jì)知之甚少,。

研究人員通過(guò)創(chuàng)建一個(gè)設(shè)計(jì)空間（從對(duì)現(xiàn)有工具的調(diào)查中得出），并通過(guò)采訪設(shè)計(jì)研究（與15位實(shí)踐中的數(shù)據(jù)科學(xué)家）,，來(lái)研究計(jì)算型筆記本中代碼助手的潛力,。

論文鏈接：https://dl./doi/pdf/10.1145/3544548.3580940

通過(guò)這項(xiàng)工作，研究人員為這個(gè)空間中的未來(lái)系統(tǒng)確定了挑戰(zhàn)和機(jī)會(huì),，如數(shù)據(jù)可視化等任務(wù)的消歧義價(jià)值,，嚴(yán)格范圍的特定領(lǐng)域工具（如linters）的潛力，以及禮貌助手的重要性,。

總結(jié): 這是對(duì)計(jì)算機(jī)筆記本中 AI 代碼助手的設(shè)計(jì)空間的探索,，為人工智能的用戶體驗(yàn)提供了一個(gè)有用的框架,，包括用戶如何迭代他們的輸入，如何改進(jìn)輸出,，等等,。

Colaroid: 一個(gè)創(chuàng)作可探索的多階段教程的文學(xué)編程方法

多階段編程教程是程序員的關(guān)鍵學(xué)習(xí)資源，使用漸進(jìn)的增量步驟來(lái)教用戶如何構(gòu)建更大的軟件系統(tǒng),。

一個(gè)好的多階段教程能清楚地描述代碼,，解釋每一步的理由和代碼的變化，并允許讀者在學(xué)習(xí)教程的過(guò)程中進(jìn)行實(shí)驗(yàn),。

在實(shí)踐中,，作者創(chuàng)建具有這些屬性的教程是非常耗時(shí)的。

這篇論文介紹了Colaroid,，一個(gè)用于創(chuàng)建高質(zhì)量的多階段教程的交互式創(chuàng)作工具,。

論文鏈接：https://dl./doi/pdf/10.1145/3544548.3581525

Colaroid教程是一個(gè)增強(qiáng)的計(jì)算筆記本，其中的片段和輸出代表了一個(gè)項(xiàng)目的快照,，突出了源代碼的差異,，每個(gè)片段都有完整的源代碼背景，并且能夠在一個(gè)鏈接的IDE中加載和修補(bǔ)項(xiàng)目的任何階段,。

在兩項(xiàng)實(shí)驗(yàn)室研究中,，研究人員發(fā)現(xiàn)Colaroid使創(chuàng)建多階段教程變得容易，同時(shí)與視頻和基于網(wǎng)絡(luò)的教程相比,，為讀者提供了更多優(yōu)勢(shì),。

總結(jié): 即使是一個(gè)簡(jiǎn)短的編程教程也需要花費(fèi)很多時(shí)間才能做好。研究人員設(shè)計(jì)了一個(gè)用于創(chuàng)建基于交互式筆記本的教程的工具,，可以讓作者從代碼庫(kù)的歷史中獲取代碼塊,，然后重新混合以獲得更好的解釋。

AI代碼生成器對(duì)初學(xué)者的支持

像OpenAI Codex這樣的人工智能代碼生成器有可能通過(guò)從自然語(yǔ)言描述中生成代碼來(lái)幫助新手程序員,，然而,，過(guò)度依賴可能會(huì)對(duì)學(xué)習(xí)和保持產(chǎn)生負(fù)面影響。

為了探索人工智能代碼生成器對(duì)編程入門的影響,，這篇論文對(duì)69名新手（10-17歲）進(jìn)行了對(duì)照實(shí)驗(yàn),。

論文鏈接：https://dl./doi/pdf/10.1145/3544548.3580919

學(xué)習(xí)者進(jìn)行了45個(gè)Python代碼編寫任務(wù)，其中一半的學(xué)習(xí)者可以使用Codex,，每個(gè)任務(wù)之后都有一個(gè)代碼修改的任務(wù),。

實(shí)驗(yàn)結(jié)果顯示，使用Codex可以顯著提高代碼編寫的成績(jī)（完成率提高了1.15倍,，分?jǐn)?shù)提高了1.8倍）,，同時(shí)不會(huì)降低手動(dòng)修改代碼任務(wù)的成績(jī)。

此外，在訓(xùn)練階段使用Codex的學(xué)習(xí)者在一周后進(jìn)行的評(píng)估后測(cè)試中表現(xiàn)略好,，盡管這一差異沒(méi)有達(dá)到統(tǒng)計(jì)學(xué)意義,。

值得注意的是,，如果事先接觸過(guò)Codex,，Scratch前測(cè)分?jǐn)?shù)較高的學(xué)習(xí)者在保留后測(cè)中的表現(xiàn)明顯要好。

總結(jié): 世界想知道人工智能將如何改變教育,。過(guò)度依賴會(huì)妨礙學(xué)習(xí)嗎,？研究人員進(jìn)行了一項(xiàng)為期3周的研究，發(fā)現(xiàn)使用人工智能工具完成任務(wù)的學(xué)生在手工編碼任務(wù)或測(cè)試中的表現(xiàn)并不差,，也許人工智能終究是新的計(jì)算器,。

Log-it: 支持使用交互式、上下文,、結(jié)構(gòu)化和可視化日志進(jìn)行編程

日志（logging）是一種廣泛使用的檢查和理解程序的技術(shù),。

不過(guò)日志的表現(xiàn)形式仍然經(jīng)常采用其古老的形式，即駐留在終端,、控制臺(tái)或日志文件中的線性文本流,，盡管很簡(jiǎn)單，但由于大量缺乏結(jié)構(gòu)和上下文的文本日志,，解釋日志輸出往往具有挑戰(zhàn)性,。

這篇論文進(jìn)行了內(nèi)容分析和專家訪談，以了解日志中固有的做法和挑戰(zhàn),。

論文鏈接：https://dl./doi/pdf/10.1145/3544548.3581403

活動(dòng)結(jié)果表明,，目前對(duì)日志的表述并沒(méi)有提供程序員解釋日志或程序行為所需的豐富結(jié)構(gòu)。

研究人員提出了Log-it,，一個(gè)使程序員能夠在現(xiàn)場(chǎng)交互式地結(jié)構(gòu)化和可視化日志的日志界面,。

一項(xiàng)針對(duì)新手和專家的用戶研究表明，Log-it的語(yǔ)法和界面具有最小的學(xué)習(xí)曲線,，日志的交互式表示和組織可以幫助程序員輕松定位,、綜合和理解日志。

總結(jié): Print 語(yǔ)句仍然是一種流行的調(diào)試方法,，但它并不總是最有效的技術(shù),。研究人員設(shè)計(jì)了一個(gè)時(shí)髦的工具來(lái)構(gòu)造和可視化輸出。

從語(yǔ)法中獲得可用的結(jié)構(gòu)化編輯器

結(jié)構(gòu)化編輯在編程的可學(xué)習(xí)性,、工具建設(shè)和編輯效率方面都有好處,。

不過(guò)創(chuàng)建一個(gè)可用的結(jié)構(gòu)化編輯器是很費(fèi)力的，通常需要工具建設(shè)者手動(dòng)創(chuàng)建或調(diào)整編輯交互關(guān)系,。

這篇論文提出了Sandblocks,，允許用戶為每一種有形式化語(yǔ)法的語(yǔ)言自動(dòng)生成結(jié)構(gòu)化編輯器的系統(tǒng)。

論文鏈接：https://dl./doi/pdf/10.1145/3544548.3580785

該系統(tǒng)的輸入調(diào)和過(guò)程可以作用于任意的語(yǔ)法樹,，為生成的編輯器提供一致的交互方式,。

該編輯器的編輯體驗(yàn)被設(shè)計(jì)成用戶熟悉的文本編輯,，但與以前的工作相比，不需要在語(yǔ)法中進(jìn)行手動(dòng)標(biāo)注,。

文中通過(guò)一項(xiàng)用戶研究（N=18）來(lái)證明該編輯器在不同語(yǔ)言中的可用性,。

與傳統(tǒng)的文本編輯器相比，參與者平均只花了21%（JS）,、34%（Clojure）和95%（RegExp）的時(shí)間,，并報(bào)告說(shuō)編輯感覺(jué)很自然，得分是6/7,。

總結(jié): 結(jié)構(gòu)化編輯是那些似乎每個(gè)人都喜歡的想法之一,，研究人員致力于開(kāi)發(fā)一個(gè)結(jié)構(gòu)化的編輯器，可用于所有的編程語(yǔ)言,，同時(shí)仍然具有很高的可用性,；提供了一個(gè)一致的用戶界面，可以在給定形式語(yǔ)法的幾乎任何語(yǔ)言上使用,。