天天速讯：基于PyTorch、易上手，细粒度图像识别深度学习工具库Hawkeye开源

目录

1. 什么是 Hawkeye 库

【资料图】

2. Hawkeye 支持的模型及方法

3. 安装 Hawkeye

4. 使用 Hawkeye 训练模型

1. 什么是 Hawkeye 库

Hawkeye 是一个基于 PyTorch 的细粒度图像识别深度学习工具库，专为相关领域研究人员和工程师设计。目前，Hawkeye 包含多种代表性范式的细粒度识别方法，包括 “基于深度滤波器”、“基于注意力机制”、“基于高阶特征交互”、“基于特殊损失函数”、“基于网络数据” 以及其他方法。

Hawkeye 项目代码风格良好，结构清晰易读，可拓展性较强。对于刚接触细粒度图像识别领域的相关人员而言，Hawkeye 较易上手，便于其理解细粒度图像识别的主要流程和代表性方法，同时也方便在本工具库上快速实现自己的算法。此外，我们还给出了库中各模型的训练示例代码，自研方法也可按照示例快速适配并添加至 Hawkeye 中。

Hawkeye 开源库链接：https://github.com/Hawkeye-FineGrained/Hawkeye

2. Hawkeye 支持的模型及方法

Hawkeye 目前支持细粒度图像识别中主要学习范式的共 16 个模型与方法，具体如下：

基于深度滤波器

S3N (ICCV 2019)

Interp-Parts (CVPR 2020)

ProtoTree (CVPR 2021)

基于注意力机制

OSME+MAMC (ECCV 2018)

MGE-CNN (ICCV 2019)

APCNN (IEEE TIP 2021)

基于高阶特征交互

BCNN (ICCV 2015)

CBCNN (CVPR 2016)

Fast MPN-COV (CVPR 2018)

基于特殊损失函数

Pairwise Confusion (ECCV 2018)

API-Net (AAAI 2020)

CIN (AAAI 2020)

基于网络数据

Peer-Learning (ICCV 2021)

其他方法

NTS-Net (ECCV 2018)

CrossX (ICCV 2019)

DCL (CVPR 2019)

3. 安装 Hawkeye

安装依赖

使用 conda 或者 pip 安装相关依赖：

Python 3.8

PyTorch 1.11.0 or higher

torchvison 0.12.0 or higher

numpy

yacs

tqdm

克隆仓库：

git clone https://github.com/Hawkeye-FineGrained/Hawkeye.gitcd Hawkeye

准备数据集

我们提供了 8 个常用的细粒度识别数据集及最新的下载链接：

CUB200: https://data.caltech.edu/records/65de6-vp158/files/CUB_200_2011.tgz

Stanford Dog: http://vision.stanford.edu/aditya86/ImageNetDogs/images.tar

Stanford Car: http://ai.stanford.edu/~jkrause/car196/car_ims.tgz

FGVC Aircraft: https://www.robots.ox.ac.uk/~vgg/data/fgvc-aircraft/archives/fgvc-aircraft-2013b.tar.gz

iNat2018: https://ml-inat-competition-datasets.s3.amazonaws.com/2018/train_val2018.tar.gz

WebFG-bird: https://web-fgvc-496-5089-sh.oss-cn-shanghai.aliyuncs.com/web-bird.tar.gz

WebFG-car: https://web-fgvc-496-5089-sh.oss-cn-shanghai.aliyuncs.com/web-car.tar.gz

WebFG-aircraft: https://web-fgvc-496-5089-sh.oss-cn-shanghai.aliyuncs.com/web-aircraft.tar.gz

首先，下载一个数据集（以 CUB200 为例）：

cd Hawkeye/datawget https://data.caltech.edu/records/65de6-vp158/files/CUB_200_2011.tgzmkdir bird && tar -xvf CUB_200_2011.tgz -C bird/

我们提供了上述 8 个数据集的 meta-data 文件，能够匹配库中的 FGDataset 方便地加载训练集和测试集，训练集和测试集为各个数据集官方提供的划分。使用不同数据集时，只需在实验的 config 文件中修改 dataset 配置即可，方便切换。

在实验的 config 文件中修改 dataset 配置，示例如下：

dataset:name: cubroot_dir: data/bird/CUB_200_2011/imagesmeta_dir: metadata/cub

4. 使用 Hawkeye 训练模型

对于 Hawkeye 支持的每个方法，我们均提供了单独的训练模板和配置文件。例如训练 APINet 只需一条命令：

python Examples/APINet.py --config configs/APINet.yaml

实验的参数都在相应的 yaml 文件中，可读性高、便于修改，如：

experiment:name: API_res101 2        # 实验名称log_dir: results/APINet   # 实验日志、结果等的输出目录seed: 42                  # 可以选择固定的随机数种子#  resume: results/APINet/API_res101 2/checkpoint_epoch_19.pth    # 可以从训练中断的 checkpoint 中恢复训练dataset:name: cub          # 使用 CUB200 数据集root_dir: data/bird/CUB_200_2011/images   # 数据集中图像放置的路径meta_dir: metadata/cub                  # CUB200 的 metadata 路径n_classes: 10         # 类别数，APINet 需要的数据集n_samples: 4          # 每个类别的样本数batch_size: 24        # 测试时的批样本数num_workers: 4      # Dataloader 加载数据集的线程数transformer:        # 数据增强的参数配置image_size: 224      # 图像输入模型的尺寸 224x224resize_size: 256    # 图像增强前缩放的尺寸 256x256model:name: APINet        # 使用 APINet 模型，见 `model/methods/APINet.py`num_classes: 200      # 类别数目#  load: results/APINet/API_res101 1/best_model.pth     # 可以加载训练过的模型参数train:cuda: [4]          # 使用的 GPU 设备 ID 列表，[] 时使用 CPUepoch: 100        # 训练的 epoch 数量save_frequence: 10    # 自动保存模型的频率#  val_first: False      # 可选是否在训练前进行一次模型精度的测试optimizer:name: Adam        # 使用 Adam 优化器lr: 0.0001        # 学习率为 0.0001weight_decay: 0.00000002scheduler:# 本例使用自定义组合的 scheduler，由 warmup 和余弦退火学习率组合而成，见 `Examples/APINet.py`name: ""T_max: 100        # scheduler 的总迭代次数warmup_epochs: 8    # warmup 的 epoch 数lr_warmup_decay: 0.01  # warmup 衰减的比例criterion:name: APINetLoss    # APINet 使用的损失函数，见 `model/loss/APINet_loss.py`

实验的主程序 Examples/APINet.py 中的训练器 APINetTrainer 继承自 Trainer，不需要再写复杂的训练流程、logger、模型保存、配置加载等代码，只用按需修改部分模块即可。我们也提供了训练阶段的多个 hook 钩子，可以满足一些方法特别的实现方式。

日志文件、模型权重文件、训练使用的训练代码以及当时的配置文件都会保存在实验输出目录 log_dir 中，备份配置和训练代码便于日后对不同实验进行对比。

更多详细示例可参考项目链接中的具体信息：https://github.com/Hawkeye-FineGrained/Hawkeye

参考

[1] X.-S. Wei, Y.-Z. Song, O. Mac Aodha, J. Wu, Y. Peng, J. Tang, J. Yang, and S. Belongie. Fine-Grained Image Analysis with Deep Learning: A Survey. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), DOI: 10.1109/TPAMI.2021.3126648. https://ieeexplore.ieee.org/document/9609630

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com

关键词： 图像识别 损失函数 相关领域

推荐DIY文章

主机存在磨损或划痕风险 PICO4便携包宣布召回

穿越湖海！特斯拉Cybertruck电动皮卡可以当“船”用

vivoXFold+折叠旗舰开售 配备蔡司全焦段旗舰四摄

飞凡R7正式上市 全系标配换电架构

中兴Axon30S开售 拥有黑色蓝色两款配色

荣耀MagicBookV14 2022正式开售 搭载TOF传感器