大數(shù)據(jù)風控開發(fā)服務(wù)
本項目旨在構(gòu)建端到端的信貸風險智能評估系統(tǒng)，總體設(shè)計方案涵蓋數(shù)據(jù)工程、模型訓練與部署全流程。
首先通過多源異構(gòu)數(shù)據(jù)采集建立信貸風險數(shù)據(jù)集，整合結(jié)構(gòu)化數(shù)據(jù)：用戶收入、負債率、交易行為等與非結(jié)構(gòu)化文本，如申請描述、客戶反饋等，采用正負樣本雙軌標記機制標注高風險事件，如逾期、欺詐等與正常履約案例，并細化高/中/低三級風險標簽體系，在數(shù)據(jù)預(yù)處理階段實施敏感信息脫敏，如身份證號、姓名加密與增強操作（同義詞替換、上下文裁剪）以提升數(shù)據(jù)多樣性；
隨后基于領(lǐng)域自適應(yīng)技術(shù)微調(diào)DeepSeek-671B等大模型，通過動態(tài)調(diào)整學習率與凍結(jié)底層參數(shù)強化對逾期率、信用評分等風險指標的預(yù)測能力；核心蒸餾架構(gòu)采用教師-學生雙模型框架，以DeepSeek-671B為教師模型提供語義知識，定制DeepSeek-32B為學生模型優(yōu)化稀疏特征提取層，通過三重聯(lián)合蒸餾策略實現(xiàn)知識遷移——離線蒸餾利用教師模型logits和中間層特征生成軟標簽指導(dǎo)訓練、注意力遷移機制強制對齊師生模型對"逾期""高負債"等關(guān)鍵風險的注意力權(quán)重分布、動態(tài)溫度調(diào)節(jié)模塊動態(tài)平衡困難樣本與簡單樣本的學習強度；
最終部署階段實施GPTQ 4-bit量化壓縮技術(shù)，將FP32權(quán)重映射至4-bit整數(shù)空間，配合校準集保留核心權(quán)重精度，實現(xiàn)顯存占用降低75%的同時維持模型預(yù)測效能，形成覆蓋數(shù)據(jù)治理、風險標注、蒸餾訓練到輕量化部署的閉環(huán)解決方案。
