當(dāng)前，人和大模型的業(yè)務(wù)場景落地已經(jīng)進入深水區(qū)。近期，數(shù)字政通技術(shù)團隊對Kimi在長文本的場景下做了大量的測試，實驗證明Kimi在卷宗評查（執(zhí)法業(yè)務(wù)），熱線分析（一網(wǎng)統(tǒng)管業(yè)務(wù)）等長文本的場景中，有著突出的表現(xiàn)，未來在更大規(guī)模的應(yīng)用場景中具有廣泛深入的合作前景。
一、Kimi助力人和大模型打造長文本分析場景
目前，人和大模型已經(jīng)完成基于Kimi的Moonshot開放平臺提供的API調(diào)用moonshot-v1-8k、moonshot-v1-32k、moonshot-v1-128k三個不同參數(shù)規(guī)模的模型能力。Kimi具備強大的長文本總結(jié)與生成能力、聯(lián)網(wǎng)搜索與輔助信息搜索能力、數(shù)據(jù)處理與表格分析能力。在城市治理行業(yè)中，可助力以下應(yīng)用場景：
長文總結(jié)與生成：通過簡單的提問或文件上傳，Kimi能夠快速提煉大量長文本的核心內(nèi)容，理解文本，生成文本摘要。在執(zhí)法案件評查場景中，通過大模型超長無損上下文能力解析司法部門制定的行政案件評查標(biāo)準(zhǔn)，以及從立案、調(diào)查、取證、告知、聽證程序、審查決定、送達執(zhí)行、結(jié)案全流程的卷宗、筆錄、審批文書、行政處罰告知書、聽證告知書、行政處罰決定書、結(jié)案報告等相關(guān)材料，自動化完成行政處罰案件評查工作，單批次最大支持1000個文件的快速解析，可極大提高案卷評查工作效率。
數(shù)據(jù)處理與報表分析：Kimi能夠接收用戶輸入的長文本文件，自動將復(fù)雜的數(shù)據(jù)整理成清晰易讀的表格形式，有助于用戶進行快速的數(shù)據(jù)分析和決策。在民生訴求智能報表報告應(yīng)用場景中，通過導(dǎo)入民生訴求工單數(shù)據(jù)，對工單總體情況、問題來源、案件類型、事項類型、高發(fā)問題、總結(jié)與建議等進行智能分析，自動化生成智能報表。
聯(lián)網(wǎng)搜索和輔助信息搜集：Kimi可以聯(lián)網(wǎng)搜索最新信息，也支持查找更多細(xì)分領(lǐng)域的專業(yè)知識，快速構(gòu)建一套行業(yè)知識體系。在民生訴求、法治政府、城市管理等業(yè)務(wù)中，可沉淀豐富的項目案例和業(yè)務(wù)經(jīng)驗，打通各個業(yè)務(wù)線的數(shù)據(jù)，進行關(guān)聯(lián)分析和挖掘，并成為搜索、問答、推薦等功能與知識庫應(yīng)用。智能知識庫有豐富的應(yīng)用場景，例如機器人客服、人工客服工具（檢索、推薦）、法律法規(guī)知識庫等。
二、人和大模型技術(shù)研究方向
人和大模型致力于針對城市治理行業(yè)中的確定性問題提供解決方案。它基于一個通用、解耦的大模型底座，通過融入行業(yè)經(jīng)驗和專業(yè)知識進行微調(diào)，以構(gòu)建更貼合行業(yè)需求的應(yīng)用新模式。為了確保城市治理行業(yè)場景應(yīng)用能夠有效落地，人和大模型在以下幾個關(guān)鍵技術(shù)領(lǐng)域進行了深入探索和優(yōu)化：
知識增強：通過構(gòu)建本地知識庫和集成互聯(lián)網(wǎng)搜索功能，增強大模型獲取廣泛領(lǐng)域知識的能力。確保在對話中能夠提供準(zhǔn)確、全面的信息，以支持復(fù)雜的城市治理問題。
大模型Agents：模仿人類行為的大模型應(yīng)用，可以根據(jù)模型輸出通過prompts指導(dǎo)Agents使用外部工具（如計算器、搜索API、數(shù)據(jù)庫等），實現(xiàn)從外部獲取輸入并生成所需輸出的復(fù)雜任務(wù)。
大模型加速技術(shù)：采用緩存機制，通過嵌入算法和向量存儲優(yōu)化查詢響應(yīng)時間；VLLM通過PagedAttention算法進行內(nèi)存管理和批處理請求，以及針對CUDA內(nèi)核的優(yōu)化，實現(xiàn)并行推理加速。
強化學(xué)習(xí)技術(shù)：結(jié)合RLHF技術(shù)，即通過人類反饋的強化學(xué)習(xí)，提升模型性能和準(zhǔn)確度；強化學(xué)習(xí)使得大模型能夠適應(yīng)新環(huán)境，快速學(xué)習(xí)新知識，并在多個領(lǐng)域中進行有效的遷移學(xué)習(xí)和泛化。
多模態(tài)大模型：利用圖像生成文本描述，使模型能夠理解和表達圖像內(nèi)容，在城市治理視頻、圖片應(yīng)用場景提高算法理解能力。
通過這些技術(shù)的整合和優(yōu)化，人和大模型旨在為城市治理行業(yè)提供更高效、智能的解決方案，推動行業(yè)的數(shù)字化轉(zhuǎn)型和升級。同時，為提高大模型算力適應(yīng)性，人和大模型已完成基于昇騰GPU等國產(chǎn)化環(huán)境兼容適配。
三、人和大模型應(yīng)用場景實踐進展
自2023年11月數(shù)字政通發(fā)布城市治理行業(yè)人和大模型以來，持續(xù)投入在大模型應(yīng)用技術(shù)的研究和城市治理場景應(yīng)用實踐的探索。在發(fā)布會上，我們深入分析了不同城市治理場景當(dāng)中各類參與者的痛點及核心訴求，秉承“以人為本，賦能城市治理參與者”的發(fā)展理念，推出了民生訴求、法治政府、基層治理和城市管理四大應(yīng)用場景，致力于打造符合行業(yè)實際需求的場景應(yīng)用新范式，賦能智慧城市高質(zhì)量發(fā)展。
人和大模型專注于分析業(yè)務(wù)痛點、沉淀行業(yè)數(shù)據(jù)、通過模型微調(diào)提升大模型專業(yè)能力，推動場景落地。因此，我們構(gòu)建了一套靈活解耦的大模型基礎(chǔ)底座，開放兼容各類開源或者商用的通用大模型（ChatGLM、通義千問、星火、Kimi等），以集各家大模型優(yōu)勢，針對性解決特定場景問題。
發(fā)布會后，各地政府城市治理領(lǐng)域業(yè)務(wù)專家和政通技術(shù)團隊進行了多輪深入的溝通交流，致力于人和大模型在城市治理場景中的落地，其中不乏城市管理業(yè)務(wù)、社會治理業(yè)務(wù)、綜合執(zhí)法業(yè)務(wù)、一網(wǎng)統(tǒng)管業(yè)務(wù)、城市生命線業(yè)務(wù)等等。各個場景均有較大進展。
（1）大模型賦能民生訴求智能化應(yīng)用場景
開展民生訴求工作是政府傾聽民眾聲音、打造“服務(wù)型”政府的重要手段。然而，如何有效解決“市民訴求雜、人力資源缺、運營成本高、數(shù)據(jù)分析弱、領(lǐng)導(dǎo)關(guān)注頻”等問題，成為了提升民生訴求工作成效、優(yōu)化市民服務(wù)水平的關(guān)鍵。基于人和大模型打造的智能客服、智能知識庫、話務(wù)輔助、智能分類、智能分撥、智能打標(biāo)、智能回訪等場景先后在多個項目落地，從多種角度提煉分析可用于城市治理決策的數(shù)據(jù)，實現(xiàn)民生訴求的態(tài)勢全面感知、趨勢智能預(yù)判。
智能客服：基于海量數(shù)據(jù)，根據(jù)用戶需求場景生成精準(zhǔn)回復(fù)，準(zhǔn)確理解用戶的意圖并生成工單。
智能知識庫：與傳統(tǒng)知識庫相比，智能知識庫利用人工智能和大數(shù)據(jù)技術(shù)，對海量數(shù)據(jù)進行處理、分析和挖掘，提供智能化的搜索、推薦和個性化服務(wù)。它能夠自動分類和歸納總結(jié)知識，實時更新和優(yōu)化知識內(nèi)容，保證準(zhǔn)確性和時效性。
話務(wù)輔助：幫助坐席員實現(xiàn)工作效率和訴求人滿意度的雙提升。通過實時語音轉(zhuǎn)文字、知識庫一鍵搜索等功能，能夠快速響應(yīng)訴求、提高問題解決率。確保服務(wù)的質(zhì)量與專業(yè)性，為坐席員提供了全面的支持與保障。
智能分類：可根據(jù)問題描述或地址信息智能識別推薦的事項（小類），用戶可一鍵引用事項，也可對其進行修改。
智能分撥：基于歷史事件數(shù)據(jù)，算法訓(xùn)練識別此事件推薦的TOP1專業(yè)部門和置信度，可以查看該事件關(guān)聯(lián)的歷史事件。
智能標(biāo)簽：通過大模型文本能力解析工單問題描述，將非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化處理，為工單大數(shù)據(jù)分析、預(yù)警等數(shù)據(jù)治理環(huán)節(jié)提供基礎(chǔ)支撐。
智能回訪：提高對話的自然度和理解能力，更好地捕捉用戶情緒，靈活調(diào)整回應(yīng)策略，回答市民的問題和訴求。
（2）大模型賦能全過程依法行政
當(dāng)前法治政府建設(shè)當(dāng)中行政處罰工作存在：法律條文方面的執(zhí)法依據(jù)記不住、筆錄問詢方面的筆錄制作不規(guī)范、自由裁量權(quán)方面的自由裁量運用不當(dāng)、法制審核方面的法制審核人員力量薄弱等痛點。通過城市治理行業(yè)大模型賦能，從立案登記、調(diào)查取證、法制審核、處罰決定這四個環(huán)節(jié)出發(fā)，幫助執(zhí)法人員根據(jù)線索詳情智能識別違法行為，推薦相關(guān)案由及違則罰則，完成執(zhí)法立案登記；智能推薦筆錄模板，一鍵填充執(zhí)法文書內(nèi)容，完成執(zhí)法調(diào)查詢問筆錄；智能完成案件審核，實現(xiàn)自查自糾；智能推薦相關(guān)的自由裁量建議，輔助執(zhí)法決定。
目前，數(shù)字政通正在推動與多個一線城市政府部門戰(zhàn)略合作，共同探索法治政府領(lǐng)域大模型應(yīng)用場景、算法、算力方面實踐，通過大模型強大的數(shù)據(jù)處理和分析能力，在多個層面提升依法行政水平，推動法治政府建設(shè)，增強政府的公信力和執(zhí)行力。
四、總結(jié)與展望
城市治理行業(yè)的大模型應(yīng)用體現(xiàn)在其對城市治理現(xiàn)代化的深遠(yuǎn)影響。隨著大模型技術(shù)的不斷發(fā)展，大模型在城市治理中的應(yīng)用將更加廣泛和深入。
在應(yīng)用場景分類上，大模型賦能城市治理主要分為服務(wù)優(yōu)化、風(fēng)險預(yù)警、經(jīng)驗學(xué)習(xí)和決策支持四大類。服務(wù)優(yōu)化場景通過大模型優(yōu)化業(yè)務(wù)流程，提升服務(wù)效率和質(zhì)量；風(fēng)險預(yù)警場景可利用數(shù)據(jù)分析提高預(yù)警能力；經(jīng)驗學(xué)習(xí)場景通過案例學(xué)習(xí)構(gòu)建知識庫，復(fù)制推廣成功經(jīng)驗；決策支持場景結(jié)合數(shù)據(jù)分析提供快速決策建議。
落地策略上，智慧城市行業(yè)大模型需結(jié)合專業(yè)知識庫、模型微調(diào)和引導(dǎo)詞服務(wù)。行業(yè)知識庫基于行業(yè)數(shù)據(jù)構(gòu)建，為大模型提供訓(xùn)練基礎(chǔ)；大模型微調(diào)通過技術(shù)手段如監(jiān)督微調(diào)、獎勵模型和強化學(xué)習(xí)提升效率；引導(dǎo)詞服務(wù)基于業(yè)務(wù)理解，精準(zhǔn)激活模型生成所需信息。
通過這些策略，智慧城市將實現(xiàn)管理手段、模式和理念的創(chuàng)新，使城市治理更智能、高效。大模型的利用為智慧城市帶來治理新范式，推動各類應(yīng)用場景的務(wù)實落地，實現(xiàn)高質(zhì)量發(fā)展。城市治理行業(yè)大模型的應(yīng)用前景廣闊，將深刻改變城市治理方式，提升城市治理的智能化水平，為建設(shè)更加智慧、安全、高效的城市環(huán)境提供強有力的技術(shù)支持。