机器学习使用的数据有哪些

好的，机器学习（ML）使用的数据类型多种多样，它们覆盖了现实世界中的各种信息形式。可以按照不同的维度（如结构、形式、来源、用途）来分类。以下是一些主要的类型：

1. 按数据结构和形式

结构化数据：
- 描述： 数据被清晰地组织在预定义的结构中，通常以行和列的表格形式存储。
- 特点： 易于用计算机存储、查询和处理。
- 例子：
  - 关系型数据库表： 销售记录、客户信息、财务数据（姓名、年龄、性别、交易日期、金额）。
  - CSV / Excel / TSV 文件： 科学测量数据、传感器读数、调查问卷结果（温度、时间、标签）。
  - 时间序列数据： 股票价格、气温变化、心率监测（带时间戳的数值序列）。
半结构化数据：
- 描述： 数据具有一定结构，但不如结构化数据严格和规范。可能有键值对、标签或其他组织形式，但模式可能不一致。
- 特点： 需要一些解析才能充分利用其结构信息。
- 例子：
  - JSON 和 XML 文件： API 响应、网页配置、日志文件（包含嵌套字段和属性的数据）。
  - 电子邮件： 包含元数据（发件人、收件人、时间等）和非结构化的正文文本。
非结构化数据：
- 描述： 没有预定义模型或组织形式的原始数据。是人类在交流或创作时自然产生的形式。
- 特点： 占比最大，信息含量丰富，但处理起来最复杂。
- 例子：
  - 文本数据： 新闻文章、社交媒体帖子、书籍、聊天记录、产品评论。
  - 图像数据： 照片、扫描件、画作、医学影像（X光片、MRI）。
  - 音频数据： 录音、音乐、语音、音效。
  - 视频数据： 监控录像、电影、短视频、会议记录。
  - 传感器数据（原始）： 未处理的图像流、原始的音频波形。

2. 按数据类型（特征的类型）

数值型数据：
- 描述： 表示数量或度量的数字。
- 分类：
  - 连续型数据： 可以在一定范围内取任意精度的值。如身高、体重、价格、温度、时间。
  - 离散型数据： 只能取整数值或特定分类点的值。如人数、物品数量、订单数。
分类数据：
- 描述： 代表类别、标签或类属，没有内在的数学排序。
- 分类：
  - 名义型数据： 类别间无顺序关系。如国家、城市、产品类型、动物物种。
  - 顺序型数据： 类别间存在逻辑或等级顺序。如用户评级（好、中、差）、衣服尺码（S、M、L、XL）、教育程度（高中、学士、硕士、博士）。
其他特殊类型：
- 图数据： 实体（节点）及其关系（边）组成的数据。如社交网络、知识图谱、交通网络。
- 地理空间数据： 包含地理位置信息（经纬度坐标、多边形区域）的数据。如地图数据、GPS轨迹、地址。

3. 按数据来源

内部数据： 由组织自身产生或收集，如业务系统（CRM、ERP）日志、网站浏览记录、内部调研。
外部数据： 从外部获取：
- 公开数据集： UCI Machine Learning Repository、Kaggle Datasets、Google Dataset Search、政府开放数据平台（如data.gov）。
- 网络爬取数据： 从网页、API等抓取。
- 第三方数据供应商： 购买或授权的专业数据集（如市场调研数据、金融数据）。
- 社交媒体平台 API： 获取的公开推文、帖子。
- 物联网设备： 传感器网络、智能硬件产生的数据。

4. 按数据的用途（特别是在监督学习中）

训练数据： 用于训练机器学习模型参数的数据集。这是模型学习模式、建立预测能力的基础。
验证数据： 在训练过程中用于调整模型超参数（如学习率、网络层数、正则化强度）或选择最佳模型的数据集。有助于防止过拟合（Overfitting）。
测试数据： 用于最终评估训练好的模型性能的“独立”数据集。模型在训练和调优过程中从未“见过”这些数据，因此测试结果更能代表模型在实际应用中的预测能力。

5. 按标注状态（对于监督学习特别关键）

标注数据： 每个样本都有对应的“正确答案”（标签或目标值）的数据。
- 用途： 用于监督学习任务（如图像分类中的图片及其类别标签、情感分析中的文本及其情感标签、股价预测中的历史股价及其未来价格或涨跌）。
- 挑战： 标注成本往往很高。
未标注数据： 只有样本本身，没有人工提供的标签。
- 用途： 主要用于无监督学习（如聚类、降维、异常检测）和自监督学习，或作为训练监督学习模型的辅助数据。无标注数据通常更易大量获取。

6. 按数据格式和存储方式

文件格式：CSV、JSON、XML、Parquet、图像（JPG、PNG）、音频（WAV、MP3）、视频（MP4、AVI）等。
数据库：关系型（MySQL, PostgreSQL）、NoSQL（MongoDB, Cassandra）、键值存储（Redis）、图数据库（Neo4j）等。
数据流/流式数据：实时产生的连续数据流（如股票报价、工业传感器实时监测数据、网络日志流）。需要特殊的流处理框架（如 Kafka Streams, Apache Flink, Spark Streaming）。