你好，歡迎您來(lái)到福建信息主管(CIO)網(wǎng)! 設(shè)為首頁(yè)|加入收藏|會(huì)員中心
人工智能編碼助手具有巨大的潛力，但其對(duì)開(kāi)發(fā)效率的影響還需更多研究和實(shí)踐驗(yàn)證。開(kāi)發(fā)者應(yīng)根據(jù)具體項(xiàng)目和團(tuán)隊(duì)情況，選擇適合的工具，并合理利用AI輔助開(kāi)發(fā)。
圖源：Roman Samborskyi / Shutterstock
代碼分析公司在衡量關(guān)鍵編程指標(biāo)時(shí)未發(fā)現(xiàn)人工智能開(kāi)發(fā)工具帶來(lái)重大益處，盡管其他人報(bào)告稱(chēng)編碼助手在強(qiáng)調(diào)代碼審查方面帶來(lái)了漸進(jìn)式的收益。
在生成式人工智能的熱潮中，編碼助手顯然是一個(gè)早期的明顯用例，但承諾的生產(chǎn)力提升卻未能達(dá)到預(yù)期——如果真的有提升的話。
許多開(kāi)發(fā)者表示人工智能編碼助手使他們的工作效率更高，但最近一項(xiàng)旨在衡量他們產(chǎn)出的研究卻發(fā)現(xiàn)沒(méi)有顯著的提升。根據(jù)來(lái)自Uplevel（?是一個(gè)專(zhuān)注于提升工程師及其經(jīng)理效率的企業(yè)服務(wù)公司，通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方法來(lái)提高團(tuán)隊(duì)的工作效率，使其能夠做出最佳的工作表現(xiàn)。該公司利用機(jī)器學(xué)習(xí)和組織科學(xué)，通過(guò)綜合用戶(hù)在日常工作流程中的見(jiàn)解，支持行為改變，所有這些基于最佳實(shí)踐和日歷、Github、Jira、Slack和參與度調(diào)查等工具中的數(shù)據(jù)。其目標(biāo)是通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式，幫助團(tuán)隊(duì)提升效率，從而更好地完成工作任務(wù)。）的研究，使用GitHub Copilot（微軟與OpenAI共同推出了一款AI編程工具，能夠基于?GitHub?及其他網(wǎng)站的源代碼，可根據(jù)上文提示為程序員自動(dòng)編寫(xiě)下文代碼。）還引入了41%更多的錯(cuò)誤。Uplevel是一家從編碼和協(xié)作數(shù)據(jù)中提供見(jiàn)解的公司。
該研究測(cè)量了pull request/PR（拉取請(qǐng)求，是兩個(gè)倉(cāng)庫(kù)或同倉(cāng)庫(kù)內(nèi)不同分支之間提交變更的一種途徑，同時(shí)也是一種非常好的團(tuán)隊(duì)協(xié)作方式，常用于團(tuán)隊(duì)的代碼審查等場(chǎng)景。）周期時(shí)間，即代碼合并到存儲(chǔ)庫(kù)的時(shí)間，以及PR吞吐量，即合并的拉取請(qǐng)求數(shù)量。研究發(fā)現(xiàn)使用Copilot（是微軟在Windows 11中加入的AI助手，該AI助手是一個(gè)集成了在操作系統(tǒng)中的側(cè)邊欄工具，可以幫助用戶(hù)完成各種任務(wù)。）的開(kāi)發(fā)者沒(méi)有顯著的改進(jìn)。
Uplevel利用其客戶(hù)生成的數(shù)據(jù)，將大約800名使用GitHub Copilot的開(kāi)發(fā)者的產(chǎn)出與他們?cè)诓捎们叭齻€(gè)月期間的產(chǎn)出進(jìn)行了比較。
一、測(cè)量倦怠
除了測(cè)量生產(chǎn)力之外，Uplevel的研究還觀察了開(kāi)發(fā)者倦怠的因素，并且發(fā)現(xiàn)GitHub Copilot在這方面也沒(méi)有幫助。對(duì)照組和使用編碼工具的測(cè)試組在標(biāo)準(zhǔn)工作時(shí)間之外花費(fèi)的工作時(shí)間都減少了，但當(dāng)開(kāi)發(fā)者不使用Copilot時(shí)減少得更多。
Uplevel的研究是出于對(duì)人工智能編碼助手變得無(wú)處不在時(shí)關(guān)于重大生產(chǎn)力提升說(shuō)法的好奇，該公司的產(chǎn)品經(jīng)理和數(shù)據(jù)分析師Matt Hoffman（馬特·霍夫曼）說(shuō)。GitHub（一個(gè)面向開(kāi)源及私有軟件項(xiàng)目的托管平臺(tái)，因?yàn)橹恢С?/span>Git作為唯一的版本庫(kù)格式進(jìn)行托管，故名GitHub。）在8月份發(fā)布的一項(xiàng)調(diào)查發(fā)現(xiàn)，97%的軟件工程師、開(kāi)發(fā)者和程序員表示使用了人工智能編碼助手。
“我們看到了不同的研究，有人說(shuō)，‘這對(duì)我們的生產(chǎn)力很有幫助’，”他說(shuō)，“我們也看到一些人說(shuō)，‘你知道嗎？我有點(diǎn)需要更像一個(gè)代碼審查員。’”
GitHub Copilot的一位代表對(duì)該研究沒(méi)有評(píng)論，但指出最近的一項(xiàng)研究稱(chēng)開(kāi)發(fā)者使用編碼助手能夠以快55%的速度編寫(xiě)代碼。
Hoffman（霍夫曼）說(shuō)，Uplevel團(tuán)隊(duì)在進(jìn)行研究時(shí)也期望看到一些生產(chǎn)力的提升。
“我們團(tuán)隊(duì)的假設(shè)是認(rèn)為PR周期時(shí)間會(huì)減少。”Hoffman（霍夫曼）說(shuō)，“我們認(rèn)為他們能夠編寫(xiě)更多的代碼，并且我們實(shí)際上認(rèn)為缺陷率可能會(huì)下降，因?yàn)槟阍谑褂眠@些生成式人工智能工具在代碼發(fā)布之前幫助你審查代碼。”
Hoffman（霍夫曼）承認(rèn)，比起PR周期時(shí)間和PR吞吐量，可能有更多的方法來(lái)衡量開(kāi)發(fā)人員的生產(chǎn)力，但Uplevel將這些指標(biāo)視為開(kāi)發(fā)人員輸出的可靠衡量標(biāo)準(zhǔn)。
【睿觀：PR周期時(shí)間和PR吞吐量是什么？
PR周期時(shí)間：?從開(kāi)發(fā)人員提交代碼變更請(qǐng)求（Pull Request，簡(jiǎn)稱(chēng)PR）到該變更被合并到主代碼庫(kù)所花費(fèi)的時(shí)間。
PR吞吐量：?在一定時(shí)間內(nèi)，成功合并到主代碼庫(kù)的PR數(shù)量。
為什么它們是可靠的指標(biāo)？
直接反映代碼交付：?這兩個(gè)指標(biāo)直接反映了開(kāi)發(fā)人員將代碼從開(kāi)發(fā)階段轉(zhuǎn)化為生產(chǎn)階段的速度和效率。
體現(xiàn)團(tuán)隊(duì)協(xié)作：?PR周期時(shí)間還反映了代碼審查和合并的效率，這涉及到團(tuán)隊(duì)成員之間的協(xié)作。
數(shù)據(jù)可量化：?這些指標(biāo)是可量化的，便于跟蹤和比較?！?/span>
二、稍后再看
此外，Uplevel并不建議組織停止使用編碼助手，因?yàn)檫@些工具正在迅速發(fā)展。
“我們聽(tīng)說(shuō)人們最終比過(guò)去更多地成為這些代碼的審查者，并且你可能會(huì)對(duì)代碼會(huì)按照你期望的那樣運(yùn)行有一些錯(cuò)誤的信心，”Hoffman（霍夫曼）補(bǔ)充道，“你只需要密切關(guān)注正在生成的東西；“它是否做了你期望它做的事情？”
在實(shí)際工作中，開(kāi)發(fā)團(tuán)隊(duì)報(bào)告的結(jié)果好壞參半。
定制軟件開(kāi)發(fā)公司Gehtsoft USA（是一家位于美國(guó)北卡羅來(lái)納州羅利的定制軟件開(kāi)發(fā)公司，成立于2000年，專(zhuān)注于提供敏捷研發(fā)軟件解決方案，公司提供的服務(wù)包括軟件開(kāi)發(fā)、Web應(yīng)用開(kāi)發(fā)和外包服務(wù)。擁有超過(guò)20年的成功創(chuàng)新經(jīng)驗(yàn)，并且有著按時(shí)、按預(yù)算交付項(xiàng)目的可靠記錄。）的首席執(zhí)行官Ivan Gekht（伊萬(wàn)·格赫特）表示，該公司的開(kāi)發(fā)人員還沒(méi)有看到基于large language model/LLM（大型語(yǔ)言模型。是使用深度學(xué)習(xí)算法處理和理解自然語(yǔ)言的基礎(chǔ)機(jī)器學(xué)習(xí)模型。這些模型在大量文本數(shù)據(jù)上進(jìn)行訓(xùn)練，以學(xué)習(xí)語(yǔ)言中的模式和實(shí)體關(guān)系。LLM可以執(zhí)行多種類(lèi)型的語(yǔ)言任務(wù)，例如翻譯語(yǔ)言、分析情緒、聊天機(jī)器人對(duì)話等。）人工智能的編碼助理的生產(chǎn)力大幅提高。Gehtsoft一直在沙盒環(huán)境中測(cè)試編碼助手，但尚未在客戶(hù)項(xiàng)目中使用它們。
“理解和調(diào)試人工智能生成的代碼變得越來(lái)越具有挑戰(zhàn)性，故障排除變得如此耗費(fèi)資源，以至于從頭重寫(xiě)代碼比修復(fù)它更容易。”
——Ivan Gekht（伊萬(wàn)·格赫特），Gehtsoft首席執(zhí)行官
“使用大型語(yǔ)言模型來(lái)提高你的生產(chǎn)力需要大語(yǔ)言模型在其能力上與實(shí)際的人類(lèi)具有競(jìng)爭(zhēng)力，并且實(shí)際用戶(hù)要知道如何最有效地使用大語(yǔ)言模型，”他說(shuō)，“大型語(yǔ)言模型不具備批判性思維、自我意識(shí)或思考能力。”
Gekht（格赫特）補(bǔ)充道，編寫(xiě)幾行代碼和軟件開(kāi)發(fā)之間存在差異。他認(rèn)為，編碼就像寫(xiě)句子，而開(kāi)發(fā)就像寫(xiě)小說(shuō)。
“軟件開(kāi)發(fā)90%是腦力活動(dòng)——理解需求、設(shè)計(jì)系統(tǒng)以及考慮限制和約束，”他補(bǔ)充說(shuō)，“將所有這些知識(shí)和理解轉(zhuǎn)換為實(shí)際的代碼是工作中更簡(jiǎn)單的部分。”
與Uplevel研究一樣，Gekht（格赫特）也看到人工智能助手在編寫(xiě)代碼時(shí)會(huì)引入錯(cuò)誤。當(dāng)使用不同的提示開(kāi)發(fā)代碼的不同部分時(shí)，人工智能生成的代碼的每次新迭代最終都變得不太一致。
“理解和調(diào)試人工智能生成的代碼變得越來(lái)越具有挑戰(zhàn)性，故障排除變得如此耗費(fèi)資源，以至于從頭重寫(xiě)代碼比修復(fù)它更容易，”他說(shuō)。
三、看到收益
云服務(wù)提供商Innovative Solutions（?是一家專(zhuān)注于成長(zhǎng)型企業(yè)領(lǐng)域的云服務(wù)提供商，這家公司專(zhuān)注于提供系統(tǒng)集成服務(wù)，為改裝應(yīng)用和原始設(shè)備制造商設(shè)計(jì)、制造、銷(xiāo)售和服務(wù)航空數(shù)據(jù)設(shè)備、發(fā)動(dòng)機(jī)顯示系統(tǒng)、備用設(shè)備、主飛行制導(dǎo)和駕駛艙顯示系統(tǒng)。其產(chǎn)品包括集成的飛行管理系統(tǒng)、平板顯示系統(tǒng)、集成的備用裝置、先進(jìn)的全球定位系統(tǒng)接收器和自動(dòng)油門(mén)，旨在減少飛行員的工作量并增強(qiáng)安全性。該公司向原始設(shè)備制造商和改造市場(chǎng)出售其產(chǎn)品，致力于提供集成的飛行管理系統(tǒng)和先進(jìn)的導(dǎo)航解決方案，以?xún)?yōu)化航空操作的效率和安全性。此外，其還宣布推出基于亞馬遜云科技和Anthropic技術(shù)構(gòu)建的Tailwinds，這使得企業(yè)領(lǐng)導(dǎo)者和軟件工程師能夠在應(yīng)用程序中使用生成式AI技術(shù)，避免了傳統(tǒng)軟件開(kāi)發(fā)所涉及的復(fù)雜操作、高成本和長(zhǎng)周期的問(wèn)題。）的編碼助手體驗(yàn)則大不相同。該公司的首席技術(shù)官Travis Rehl（特拉維斯·雷爾）表示，使用Claude Dev（?是一個(gè)集成了Claude 3.5 Sonnet的VSCode插件，旨在大大增強(qiáng)編程和開(kāi)發(fā)體驗(yàn)。它具備處理復(fù)雜任務(wù)的能力，包括讀寫(xiě)文件、從頭創(chuàng)建整個(gè)項(xiàng)目以及在授予許可后執(zhí)行終端命令。其功能包括代碼生成、項(xiàng)目管理、自動(dòng)化腳本執(zhí)行、文件操作、交互式開(kāi)發(fā)輔助、跟蹤API使用情況、顯示代碼差異、流式顯示命令執(zhí)行輸出等。）和GitHub Copilot等編碼助手，公司看到了顯著的生產(chǎn)力提升。該公司還使用自主開(kāi)發(fā)的Anthropic（是一家人工智能初創(chuàng)公司，由前?OpenAI?員工創(chuàng)立，成立于2021年，總部位于舊金山，致力于構(gòu)建可靠、可解釋和可控的人工智能系統(tǒng)。）集成來(lái)監(jiān)控拉取請(qǐng)求并驗(yàn)證代碼質(zhì)量。
Rehl（雷爾）看到開(kāi)發(fā)者的生產(chǎn)力提高了兩到三倍，這是基于開(kāi)發(fā)者完成工單的速度、客戶(hù)可交付成果的周轉(zhuǎn)時(shí)間以及工單的質(zhì)量（通過(guò)代碼中的錯(cuò)誤數(shù)量來(lái)衡量）。
他說(shuō)，Rehl（雷爾）的團(tuán)隊(duì)最近使用編碼助手在24小時(shí)內(nèi)完成了一個(gè)客戶(hù)項(xiàng)目，而在過(guò)去，同樣的項(xiàng)目可能需要他們大約30天的時(shí)間。
盡管如此，Rehl（雷爾）表示，關(guān)于編碼助手的一些炒作——比比如它們將取代整個(gè)開(kāi)發(fā)團(tuán)隊(duì)而不僅僅是補(bǔ)充或重塑團(tuán)隊(duì)的說(shuō)法——是不現(xiàn)實(shí)的。編碼助手可以用來(lái)快速替換代碼或通過(guò)重新處理代碼段來(lái)優(yōu)化代碼路徑，他補(bǔ)充說(shuō)。
“對(duì)編碼助手的期望應(yīng)該有所調(diào)整，因?yàn)樗鼈儾粫?huì)一次性寫(xiě)出所有代碼，甚至不會(huì)在第一次嘗試時(shí)寫(xiě)出所有正確的代碼，”他說(shuō)，“這是一個(gè)迭代過(guò)程，如果使用得當(dāng)，可以使開(kāi)發(fā)人員編碼的速度提高兩到三倍。”
作者：Grant Gross（格蘭特·格羅斯）
Grant Gross（格蘭特·格羅斯）是CIO的資深撰稿人，是一名長(zhǎng)期的科技記者。他曾擔(dān)任華盛頓記者，后來(lái)?yè)?dān)任IDG新聞服務(wù)的高級(jí)編輯。在他職業(yè)生涯的早期，他曾擔(dān)任Linux.com的總編輯和科技職業(yè)網(wǎng)站Techies.com的新聞編輯。在遙遠(yuǎn)的過(guò)去，他曾在明尼蘇達(dá)州和達(dá)科他州的報(bào)紙擔(dān)任記者和編輯。
譯者：寶藍(lán)
【睿觀：人工智能編碼助手具有巨大的潛力，但其對(duì)開(kāi)發(fā)效率的影響還需更多研究和實(shí)踐驗(yàn)證。開(kāi)發(fā)者應(yīng)根據(jù)具體項(xiàng)目和團(tuán)隊(duì)情況，選擇適合的工具，并合理利用AI輔助開(kāi)發(fā)。
（一）研究結(jié)論不一，潛力仍待挖掘
近期，人工智能編碼助手在軟件開(kāi)發(fā)領(lǐng)域掀起了熱潮，但其對(duì)開(kāi)發(fā)效率的影響卻存在爭(zhēng)議。
Uplevel研究：?一項(xiàng)針對(duì)800名開(kāi)發(fā)者的研究發(fā)現(xiàn)，使用GitHub Copilot等編碼助手并未顯著縮短PR周期時(shí)間或提高PR吞吐量，甚至可能引入更多錯(cuò)誤。
其他研究與實(shí)踐：
GitHub的一項(xiàng)調(diào)查顯示，97%的開(kāi)發(fā)者使用過(guò)AI編碼助手，并認(rèn)為其提高了編碼速度。
Innovative Solutions等公司表示，編碼助手顯著提升了開(kāi)發(fā)效率，甚至將項(xiàng)目周期縮短了數(shù)倍。
Gehtsoft等公司則認(rèn)為，AI生成的代碼質(zhì)量不穩(wěn)定，調(diào)試成本高，且AI無(wú)法替代開(kāi)發(fā)人員的創(chuàng)造性思維和決策能力。
（二）影響因素與挑戰(zhàn)
衡量指標(biāo)：?PR周期時(shí)間和PR吞吐量并非衡量開(kāi)發(fā)效率的唯一指標(biāo)，代碼質(zhì)量、創(chuàng)新性等因素也需考慮。
工具成熟度：?AI編碼助手仍處于發(fā)展初期，其能力和可靠性有待提升。
使用方式：?開(kāi)發(fā)者對(duì)工具的熟練程度、團(tuán)隊(duì)協(xié)作方式等因素也會(huì)影響效率。
代碼復(fù)雜度：?對(duì)于復(fù)雜項(xiàng)目，AI生成的代碼可能難以理解和維護(hù)。
（三）未來(lái)展望
持續(xù)優(yōu)化：?AI編碼助手將不斷發(fā)展，在代碼生成、代碼補(bǔ)全、代碼審查等方面提供更強(qiáng)大的功能。
人機(jī)協(xié)作：?人工智能將成為開(kāi)發(fā)人員的助手，而非替代品。開(kāi)發(fā)者需要掌握如何有效利用AI工具，提高工作效率。
關(guān)注質(zhì)量：?在追求效率的同時(shí)，開(kāi)發(fā)者應(yīng)重視代碼質(zhì)量，避免因過(guò)度依賴(lài)AI而引入錯(cuò)誤。
（四）關(guān)鍵點(diǎn)
爭(zhēng)議性結(jié)論：?不同研究對(duì)AI編碼助手效果的評(píng)估不一致。
影響因素多元：?除了工具本身，開(kāi)發(fā)者、團(tuán)隊(duì)、項(xiàng)目等因素都會(huì)影響效果。
未來(lái)可期：?AI編碼助手有望在未來(lái)成為開(kāi)發(fā)人員的得力助手。
（五）建議
謹(jǐn)慎選擇工具：?根據(jù)項(xiàng)目需求和團(tuán)隊(duì)特點(diǎn)，選擇適合的AI編碼助手。
加強(qiáng)培訓(xùn)：?對(duì)開(kāi)發(fā)人員進(jìn)行AI工具使用培訓(xùn)，提高其熟練度。
關(guān)注代碼質(zhì)量：?在使用AI輔助開(kāi)發(fā)時(shí)，應(yīng)加強(qiáng)代碼審查和測(cè)試。
持續(xù)評(píng)估：?定期評(píng)估AI工具的使用效果，并根據(jù)反饋進(jìn)行調(diào)整。
關(guān)鍵詞：?人工智能，編碼助手，開(kāi)發(fā)效率，PR周期時(shí)間，PR吞吐量，GitHub Copilot，Claude Dev
適合人群：?軟件開(kāi)發(fā)人員、項(xiàng)目經(jīng)理、技術(shù)管理人員、對(duì)人工智能在軟件開(kāi)發(fā)領(lǐng)域應(yīng)用感興趣的人士?！?/em>
