文/華夏銀行首席信息官 吳永飛
華夏銀行科技開發(fā)與運(yùn)行中心副總經(jīng)理 陳剛 王彥博
華夏銀行科技開發(fā)與運(yùn)行中心 吳錦 陳志豪
在快速變化的市場環(huán)境中，商業(yè)銀行的產(chǎn)品和服務(wù)正在進(jìn)行場景化、敏捷化和數(shù)智化轉(zhuǎn)型，從而及時響應(yīng)客戶需求和業(yè)務(wù)變化。因此，IT系統(tǒng)作為金融業(yè)務(wù)發(fā)展的基礎(chǔ)設(shè)施，其迭代速度和質(zhì)量保證至關(guān)重要，而軟件測試是軟件質(zhì)量的“最后一道防線”。人工智能大模型技術(shù)作為新質(zhì)生產(chǎn)力的典型代表，近年來快速發(fā)展，已逐漸成為信息科技革新的關(guān)鍵驅(qū)動力，為商業(yè)銀行構(gòu)建數(shù)智化測試質(zhì)量保障體系提供新動能、新方案。
華夏銀行在大模型輔助研發(fā)的“5D”框架體系的基礎(chǔ)上，深耕軟件測試場景和工作流程，面向測試場景覆蓋度、測試案例設(shè)計(jì)標(biāo)準(zhǔn)化、測試數(shù)據(jù)生成所需人力成本、測試腳本編寫所需人力成本、業(yè)務(wù)規(guī)則的周密性等業(yè)務(wù)關(guān)鍵點(diǎn)，充分運(yùn)用大模型技術(shù)的語義理解、知識檢索、邏輯推理和文本生成等關(guān)鍵特性，提出大模型賦能軟件測試的“5R”方法論和“SPACE”應(yīng)用框架，為大模型在軟件測試體系的落地應(yīng)用提供了指導(dǎo)，使大模型能力無縫嵌入到日常測試流程，為商業(yè)銀行數(shù)字化轉(zhuǎn)型和智能化發(fā)展的高效性及可持續(xù)性奠定了堅(jiān)實(shí)基礎(chǔ)。
大模型輔助研發(fā)的“5D”框架體系
2022年11月，美國OpenAI公司推出了ChatGPT對話機(jī)器人，受到了社會各界的廣泛關(guān)注，標(biāo)志著生成式人工智能時代的開啟，并由此推動從弱人工智能向強(qiáng)人工智能發(fā)展的階躍。這將為人類社會帶來深刻的變革，產(chǎn)生深遠(yuǎn)的影響。近兩年來，各商業(yè)銀行紛紛在人工智能大模型領(lǐng)域持續(xù)發(fā)力，面向各類經(jīng)營場景開展了大量大模型技術(shù)應(yīng)用探索。
大模型技術(shù)能夠?yàn)檐浖こ痰母鱾€環(huán)節(jié)賦能，包括需求分析、系統(tǒng)設(shè)計(jì)、系統(tǒng)開發(fā)、調(diào)試與測試、系統(tǒng)部署上線與運(yùn)維等，通過提供全方位智能化支持，從而提升研發(fā)效率，助力數(shù)字金融全面降本提質(zhì)增效。大模型輔助研發(fā)涉及的環(huán)節(jié)可以概括為“5D”框架體系（如圖1所示），即需求分析（Demand & Requirement Analysis）、系統(tǒng)設(shè)計(jì)（Design of System）、系統(tǒng)開發(fā)（Development of System）、調(diào)試與測試（Debugging & Testing）以及部署與運(yùn)維（Deployment & Operations）。本文聚焦Debugging & Testing（調(diào)試與測試）環(huán)節(jié)展開探討。
大模型輔助軟件測試的能力與優(yōu)勢
大模型技術(shù)依托其強(qiáng)大的表示和泛化能力，能夠處理復(fù)雜的數(shù)據(jù)和任務(wù)，在自然語言處理（NLP）、計(jì)算機(jī)視覺（CV）等領(lǐng)域具有深遠(yuǎn)的應(yīng)用潛力。在軟件測試領(lǐng)域，核心流程是通過對測試需求的多種輸入進(jìn)行測試分析，自動生成標(biāo)準(zhǔn)化的需求測試點(diǎn)和測試案例，匹配測試案例對應(yīng)的測試數(shù)據(jù)，并進(jìn)行案例執(zhí)行與問題跟蹤閉環(huán)。在此流程中，不但涉及了測試業(yè)務(wù)和理論知識，還涉及了信息提取、推理分析、風(fēng)險(xiǎn)評估和結(jié)果整合等能力。因此，大模型語義理解、邏輯推理和文本生成等關(guān)鍵技術(shù)能力能夠在軟件測試中發(fā)揮效用。
在軟件測試應(yīng)用研究中，華夏銀行提出大模型輔助軟件測試的“5R”方法論，涵蓋五項(xiàng)大模型相關(guān)技術(shù)方法，即讀取（Read）、檢索增強(qiáng)生成（Retriev-al-Augmented Generation，RAG）、重排序（Reranker）、響應(yīng)（Response）和報(bào)告生成（Report Generation），將大模型技術(shù)與軟件測試過程融合，推進(jìn)軟件測試智能化發(fā)展。具體而言，大模型在Read階段利用強(qiáng)大的自然語言理解能力，面向提示詞工程，從測試需求文檔、接口文檔和業(yè)務(wù)規(guī)則中提取關(guān)鍵信息、依賴關(guān)系和目標(biāo)任務(wù)；而后大模型運(yùn)用RAG技術(shù)，先從知識庫或歷史數(shù)據(jù)中檢索與目標(biāo)任務(wù)相關(guān)的上下文信息，如業(yè)務(wù)領(lǐng)域規(guī)范、常見異常路徑和歷史失敗案例等，再將檢索結(jié)果生成多組候選結(jié)果；針對RAG生成的多組候選結(jié)果，Reranker階段通過相關(guān)性、風(fēng)險(xiǎn)等級等因素綜合評估，更精細(xì)地對結(jié)果重排序，并通過Response階段對結(jié)果進(jìn)行輸出；最后在Report Generation階段，通過大模型進(jìn)行執(zhí)行數(shù)據(jù)和測試風(fēng)險(xiǎn)分析，完成報(bào)告生成，形成測試流程處理的閉環(huán)，從而實(shí)現(xiàn)大模型技術(shù)在軟件測試中實(shí)用、高效的落地應(yīng)用。
大模型輔助軟件測試的探索與實(shí)踐
1.大模型選型
在大模型輔助軟件測試“5R”方法論基礎(chǔ)上，將測試需求文檔、接口文檔及業(yè)務(wù)規(guī)則等測試輸入內(nèi)容形成提示詞，并輸入大模型，而后對模型輸出內(nèi)容與實(shí)際測試過程中需求測試點(diǎn)和測試案例的匹配度進(jìn)行驗(yàn)證。
本文選擇國內(nèi)通用的四種基礎(chǔ)大模型進(jìn)行對比驗(yàn)證，驗(yàn)證過程中對模型輸出的內(nèi)容進(jìn)行標(biāo)注，進(jìn)一步獲取對生成結(jié)果的采納率、完整性和直接可用率等指標(biāo)，從而對大模型的軟件測試輔助能力進(jìn)行綜合評估，最終選擇大模型B進(jìn)行項(xiàng)目實(shí)施和集成，開展大模型能力在測試環(huán)節(jié)中的實(shí)踐。對比驗(yàn)證情況見表。
表 大模型對比驗(yàn)證情況
2.大模型輔助軟件測試的應(yīng)用框架
華夏銀行提出大模型輔助軟件測試的“SPACE”應(yīng)用框架（如圖2所示），包含測試腳本（Scripts of Testing）、需求測試點(diǎn)（Points of Requirement Testing）、測試分析（Analysis of Testing）、測試案例（Cases of Testing）和測試工程化（Engineering of Testing），將大模型能力無縫地嵌入到日常測試流程中。SPACE以自動執(zhí)行測試腳本為目標(biāo)，以需求測試點(diǎn)為切入點(diǎn)，運(yùn)用大模型結(jié)合知識庫進(jìn)行測試分析，自動生成測試需求點(diǎn)、測試案例及其所需的測試數(shù)據(jù)，并以測試工程化為手段，與華夏銀行一體化測試作業(yè)平臺進(jìn)行集成，實(shí)現(xiàn)應(yīng)用落地。其中，測試需求點(diǎn)的生成采用“4B”框架，即基礎(chǔ)測試點(diǎn)（Basic Testing Points）、銀行專業(yè)測試點(diǎn)（Banking Testing Points）、業(yè)務(wù)經(jīng)營測試點(diǎn)（Business Testing Points）和用戶行為測試點(diǎn)（Behavioral Testing Points），從多維度針對測試需求進(jìn)行測試需求分析，實(shí)現(xiàn)了測試點(diǎn)輸出的完備性和科學(xué)性，提供了測試需求、測試案例分析與設(shè)計(jì)的質(zhì)量保障 ；測試案例的生成采用“4F”框架，即業(yè)務(wù)操作流程（Flow of Banking Business）、數(shù)據(jù)特征（Feature of Data）、函數(shù)調(diào)用（Function Calling）和測試要素（Factor of Testing），體系化地將需求測試點(diǎn)細(xì)化為測試案例，形成既定的業(yè)務(wù)流和數(shù)據(jù)流，提升測試覆蓋的深度和廣度，推進(jìn)實(shí)現(xiàn)從測試需求分析到測試執(zhí)行的智能化和自動化。
3.大模型輔助軟件測試應(yīng)用成效
基于“SPACE”應(yīng)用框架，華夏銀行以接口文檔為輸入，運(yùn)用大模型和業(yè)務(wù)規(guī)則知識庫，開展了接口測試的全流程測試實(shí)踐。在需求測試點(diǎn)生成過程中，將讀取的文檔和業(yè)務(wù)規(guī)則知識庫相結(jié)合形成提示詞，從技術(shù)和業(yè)務(wù)兩方面共同保障測試點(diǎn)輸出的準(zhǔn)確性和全面性。通過不同維度需求測試點(diǎn)對應(yīng)測試案例生成的提示詞，實(shí)現(xiàn)了測試案例生成的全面覆蓋。最終，將銀行測試數(shù)據(jù)平臺的業(yè)務(wù)數(shù)據(jù)和測試案例相結(jié)合形成提示詞，由大模型生成測試案例對應(yīng)的執(zhí)行數(shù)據(jù)（如圖3所示）。
提示詞工程是大模型輔助軟件測試應(yīng)用的關(guān)鍵技術(shù)手段，核心設(shè)計(jì)思路是將復(fù)雜問題原子化，結(jié)合多級提示詞提取、多結(jié)果合并、角色設(shè)定和引導(dǎo)式提問策略，實(shí)現(xiàn)原子問題逐個突破，再將各項(xiàng)結(jié)果進(jìn)行融合，從而提高問題解決的效率和準(zhǔn)確性。在提示詞的設(shè)計(jì)中應(yīng)用了零樣本、小樣本優(yōu)化策略，使結(jié)果輸出更符合業(yè)務(wù)要求。對于比較復(fù)雜的任務(wù)，如字段間規(guī)則測試點(diǎn)提取，應(yīng)用了思維鏈的優(yōu)化策略，引導(dǎo)大模型一步一步思考得到更完善的測試數(shù)據(jù)結(jié)果。通過生成效果的持續(xù)驗(yàn)證和提示詞的迭代優(yōu)化，最終在多場景和多維度的評估驗(yàn)證中，通過當(dāng)前提示詞輸入大模型生成的結(jié)果可以有效協(xié)助測試工作。
目前，基于大模型的接口智能化測試功能已在華夏銀行一體化測試作業(yè)平臺集成投產(chǎn)，并在測試領(lǐng)域全面應(yīng)用，測試人員可以在平臺上進(jìn)行需求測試點(diǎn)、測試案例、測試數(shù)據(jù)的生成、采納和優(yōu)化。通過對測試人員使用情況的數(shù)據(jù)采集、分析和可視化展示，為提示詞和整體解決方案的進(jìn)一步優(yōu)化提供方向和數(shù)據(jù)支撐。目前大模型生成結(jié)果的直接可用率為63%、綜合采納率為75%，實(shí)現(xiàn)了從測試輸入到測試執(zhí)行的智能化和自動化，降低了對測試人員的經(jīng)驗(yàn)依賴和時間成本，提升了測試需求分析的準(zhǔn)確性和完整性。
結(jié) 語
隨著商業(yè)銀行數(shù)字化進(jìn)程的不斷深化，軟件研發(fā)模式持續(xù)創(chuàng)新和優(yōu)化，大模型技術(shù)已經(jīng)在軟件測試中展現(xiàn)了可觀的價值和潛力。本文面向大模型輔助軟件測試在商業(yè)銀行的應(yīng)用研究，創(chuàng)新提出“5R”方法論和“SPACE”應(yīng)用框架，為基于大模型開展軟件測試提供理論支撐?；诖竽Ｐ秃椭R庫的軟件測試解決方案應(yīng)用成效顯著，有效提升了測試效率、降低了測試成本、提高了軟件交付質(zhì)量，為商業(yè)銀行構(gòu)建智能化、自動化的軟件測試方案提供了有益借鑒。
【華夏銀行張兵、高麗娟、李大偉，以及龍盈智達(dá)（北京）科技有限公司張?jiān)?、尤佳冀、陳生、馮凱、楊璇對本文亦有貢獻(xiàn)】
（此文刊發(fā)于《金融電子化》2025年2月上半月刊）
熱門跟貼