机器学习和数据科学技术在工业界开源应用的Github项目

【导语】随着机器学习和数据科学的不断发展，相关技术在越来越多的领域得到了应用，机器学习、数据科学和其他学科的结合已经成为了必然趋势。在本文中，我们给大家分享了一个包含机器学习和数据科学技术在工业界开源应用的 Github 项目，具体领域包括会计、银行和保险业务、法律和法规、政府和公共政策等等。该项目仍在持续更新中。

随着机器学习和数据科学技术的不断发展，在工业界出现了越来越多的相关技术应用，学科交叉已经成为必然趋势。

在今天的分享中，营长为大家选取了一个来自GitHub的项目，该项目整理了机器学习和数据科学在工业界的落地应用，应用领域包括会计、银行和保险业务、法律和法规、政府和公共政策等领域。在该项目中，除非特别注明，作者分享的大部分项目都基于 Python 。另外，为了使得项目代码更具参考性，该项目列表没有包含明确声明“不再更新”或者已超出2年未更新的相关项目。

先为大家梳理了一下该项目的相关内容，以便大家快速查看。如果希望进一步了解相关内容，可查看文末的 GitHub 项目地址。

在该项目中，作者尝试对机器学习和数据科学在工业界的具体应用情况进行汇总，预计包含的领域如下表：

目前，作者已经整理了会计、银行和保险业务、法律和法规、政府和公共政策四个领域的相关开源项目情况，并进行了归纳和汇总。对于每个领域，作者对相关资源进行了分类和项目汇总，并给出了每个项目的链接和简短介绍。该项目列表仍在持续更新中。

领域：会计

作者将会计相关的应用划分为7类，包括机器学习、数据分析、文本分析、数据获取与处理、相关研究和文章、网站、课程。下面对各部分进行分别介绍。

机器学习

1.     Chartof Account Prediction：使用带标签的数据集预测每笔交易的账户名称。

2.     AccountingAnomalies：使用深度学习框架识别会计信息中的异常。

3.     FinancialStatement Anomalies：基于 R语言，在会计文件归档前检测会计异常信息。

4.     UsefulLife Prediction：使用传感器数据和特征工程预测资产的可使用年限。

5.     AI  Applied to XBRL：将可扩展商业报告语言（XBRL）用于 AI 和机器学习。

数据分析

1.     ForensicAccounting：包含使用数据分析手段进行法务会计的案例研究集合。

2.     GeneralLedger：对会计系统中的总账进行数据处理。

3.     BulletGraph：以子弹图（bullet graph）形式对销售、委托及其他会计活动进行可视化。

4.     AgedDebtors：对长期债务人的案例分析。

5.     AutomatedFS XBRL：自动生成 XBRL ，也可使用 python 格式输出。

文本分析

1.     FinancialSentiment Analysis：对交易信息进行情感分析、距离分析和交易份额分析。

2.     Extensive  NLP：针对会计研究的 NLP 技术汇总。

数据，句法分析和 APIs

1.     EDGAR：获取电子化数据收集、分析及检索系统（EDGAR）数据的指南。

2.     IRS：获取美国国家税务局（IRS）归档数据并进行句法分析的指南。

3.     FinancialCorporate：罗格斯大学提供的金融数据集

4.     Non-financialCorporate：罗格斯大学提供的非金融公司数据集

5.     PDFParsing：从 PDF 文件中抽取有用信息

6.     PDFTabel to Excel：从 PDF 文件中输出表格

研究和文章

1.     UnderstandingAccounting Analytics：介绍了会计分析的重要性。

2.     VLFeat：一个计算机视觉算法的开源库，并且提供了 Matlab 工具。

网站

1.     RutgersRaw：罗格斯大学的数字会计研究

课程

1.     ComputerAugmented Accounting：罗格斯大学的系列视频课程，主要讲解如何将计算机手段应用到会计中。

2.     Accountingin a Digital Era：罗格斯大学的系列视频课程，主要讲解数字时代对会计的影响。

领域：银行和保险业

作者将该领域归纳为7部分内容，包括消费经济、管理、评估、欺诈、保险业及其风险、物质基础、数据。下面进行分别介绍。

消费金融

1.     LoanAcceptance：对借贷成功率的分类和时序分析。

2.     PredictLoan Repayment：使用自动特征工程预测贷款是否会被归还

3.     LoanEligibility Ranking：检验消费者是否具有贷款资质的系统

4.     HomeCredit Default：预测家庭信用违约

5.     MortgageAnalytics：对按揭贷款的扩展分析

6.     CreditApproval：辅助信用卡办理申请批准的系统

7.     LoanRisk：通过预测模型降低坏账率，减小贷款损失

8.     Amortisationschedule：用于个人使用的自动分期付款计划

管理

1.     CreditCard：对信用卡消费者进行顾客终生价值（CLV）评估

2.     SurvivalAnalysis：对顾客进行生存分析

3.     NextTransaction：使用深度学习模型预测下一次交易的金额和时间

4.     CreditCard Churn：预测信用卡顾客流失

5.     Bankof England Minutes：对英国银行记录的文本分析

评估

1.     ZillowPrediction：预测 Zillow 公司提供的估价情况

2.     RealEstate：评估城市地区的地产价格

3.     UsedCar：二手车价格预测

欺诈

1.     XGBoost：使用模拟退火算法调整 XGBoost 超参数以预测欺诈行为

2.     FraudDetection loan in R：对银行借贷的欺诈预测

3.     AMLFinance Due Diligence：使用新闻进行反洗钱尽职调查

4.     CreditCard Fraud：预测信用卡欺诈行为

保险业及其风险

1.     BankFailure：对银行破产进行预测

2.     RiskManagement：关于金融业风险参与的课程资源

3.     VaRGaN：使用 Keras 和 Tensorflow 评估市场风风险参与情况

4.     ActuarialSciences (R)：基于 R 语言的精算工具列表

物质基础

1.     BankNote Fraud Detection：使用Tensorflow 和随机森林对纸币进行鉴定

2.     ATMSurveillance：银行 ATM 监控

数据

1.     EmployeeCount SEC Filings

2.     SECParsing

3.     OpenEdgar

4.     RatingIndustries

法律法规

在该部分，作者介绍了3部分内容的相关应用，包括工具、政策和法规、司法应用。

工具

1.     LexPredict：一个相关的代码库

2.     AIPara-legal： AI 法律助理

3.     LegalEntity Detection：对法律文件的命名实体识别

4.     LegalCase Summarisation：对司法判例进行文摘的多种算法汇总

5.     LegalDocuments Google Scholar：使用 Google scholar 自动抽取判例

6.     ChatBot：法律领域的聊天机器人和邮件通知应用

政策和法规

1.     GDPRscores：依据通用数据保护条例（GDPR）对法律文件的评分进行预测

2.     DrivingFactors FINRA：对美国金融监管局（FINRA）发布限制令的影响因素分析

3.     SecuritiesBias Correction：安全法规对价格影响的估计

4.     PublicFirm to Legal Decision：分析上市公司对法律政策的反应

司法方面的应用

1.     SuremeCourt Prediction：预测最高法院的观念立场

2.     SupremeCourt Topic Modeling：对最高法院的决定进行主题挖掘

3.     JudgeOpinion：使用文本分析方法和机器学习分析法官针对某议题的观点

4.     ML LawMatching：使用机器学习匹配案例相关法律条例

5.     BertMulti-label Classification：使用 AI 进行细粒度情感分析

6.     SomeComputational AI Course：MIT的相关视频课程

领域：政府和公共政策

在该部分，作者介绍了5部分内容，包括社会政策、选举分析、灾难管理、城市规划、设施。

社会政策

1.     Triage：对政策和公共利益问题的风险建模和预测工具

2.     WorldBank Poverty I：对用于贫困预测的机器学习分类算法的比较优势分析

3.     WorldBank Poverty II：基于世界银行数据的贫困分析

4.     OverseasCompany Land Ownership：分析英国的外企情况

5.     CFPB：美国消费者权益保护局（CFPB）的投诉分析

6.     CannabisLegalisation Effect：关于大麻制品的法规对犯罪活动的影响分析

选举分析

1.     ElectionAnalysis：选举分析和预测模型

2.     AmericanElection Causal：使用美国国家选举研究所（ANES）的数据构建因果推断模型

3.     CampaignFinance and Election Results：对竞选经费和后续选举结果间关系分析

灾难管理

1.     ConflictPrediction：冲突预测的相关代码

2.     BurglaryPrediciton：构建时空模型以预测入室盗窃

3.     PredictiongDisease Outbreak：基于机器学习算法的相关应用

4.     Roadaccident prediction：对巴西的联邦公路的车祸分析

5.     Text Mining：使用文本挖掘进行灾难管理

6.     Twitterand disasters：预测 twitter是否涉及灾难事件

城市规划

1.     TrafficPrediction：使用多注意力机制的循环神经网络模型对城市交通

进行时序分析

2.     PredictCrashes：使用多数据来源的车祸预测模型

3.     PredictHousehold Poverty：使用自动特征工程对哥斯达黎加的家庭贫困情况进行预测

设施

1.     AirQuality Prediction：预测北京和伦敦在未来48小时的空气质量

2.     WaterAccountng： 对美国的水费预算进行预测

3.     ElectrcityFrench Distribution：对法国的电力数据分布进行分析

以上就是今天的分享，希望对大家有所帮助。