基于Vision Transformer的Latex公式識別系統的設計與實現
作者：研道鳩摩智
近年來深度學習，在圖像與自然語言處理領域取得顯著成效.而這其中像ResNet、Transformer等網絡發揮著巨大作用。本系列主要分為3篇，分別從系統構建（環境+訓練）、系統原理（代碼層面）、系統的增強三個部分展開論述。
近年來深度學習，在圖像與自然語言處理領域取得顯著成效.而這其中像ResNet、Transformer等網絡發揮著巨大作用。本系列以https://github.com/lukas-blecher/LaTeX-OCR為例，闡述下如何基于人工智能技術實現latex公式識別服務。本系列主要分為3篇，分別從系統構建（環境+訓練）、系統原理（代碼層面）、系統的增強三個部分展開論述。
環境構建
查看cuda版本
下面看到，cuda版本最高支持到12.1，我們下面選用的cu116。
gpu版本查看
創建conda環境
conda env create -f 下述文件。
name: latex3.9
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- conda-forge
dependencies:
- python=3.9
- pip
- pip:
- tqdm>=4.47.0
- munch>=2.5.0
- torch==1.13.1+cu116
- opencv_python_headless>=4.1.1.26
- requests>=2.22.0
- einops>=0.3.0
- x_transformers==0.15.0
- transformers>=4.18.0
- tokenizers>=0.13.0
- numpy>=1.19.5
- Pillow>=9.1.0
- PyYAML>=5.4.1
- pandas>=1.0.0
- timm==0.5.4
- albumentations>=0.5.2
- pyreadline3>=3.4.1
- python-Levenshtein>=0.12.2
- torchtext>=0.6.0
- imagesize>=1.2.0
- wandb>=0.15.5
- --extra-index-url https://download.pytorch.org/whl/cu116檢查pytorch與gpu是否兼容
import torch
if torch.cuda.is_available():
cuda_version = torch.version.cuda
print(f"PyTorch CUDA版本為: {cuda_version}")
# 檢查CUDA版本是否與PyTorch兼容
if torch.backends.cudnn.version() is None:
print("PyTorch不支持當前CUDA版本")
else:
print("PyTorch支持當前CUDA版本")
else:
print("PyTorch不支持GPU加速")數據準備
準備數據(包括訓練集+驗證集+測試集)
現在訓練測試數據集，然后放的位置很講究！
數據存放位置
- activate latex3.9 (這個在windows上執行，linux上 conda activate latex3.9)
- python -m pix2tex.dataset.dataset --equations data/math.txt --images data/train --out data/train.pkl
- python -m pix2tex.dataset.dataset --equations data/math.txt --images data/val--out data/val.pkl
- python -m pix2tex.dataset.dataset --equations data/math.txt --images data/test--out data/test.pkl
訓練調試
Pycharm上debug訓練代碼
注：參數--config D:\LanJing\LaTeX-OCR-main\pix2tex\model\settings\debug.yaml --debug。
pycharm配置
debug.yaml配置修改
一輪epoch結束
加速訓練
為了加速訓練過程，可以使用提供的權重，并更新配置文件使用權重。該步驟也叫做fine tune。
下載 https://github.com/lukas-blecher/LaTeX-OCR/releases/download/v0.0.1/weights.pth
訪問權重路徑
訓練測試數據
https://drive.google.com/drive/folders/13CA4vAmOmD_I_dSbvLp-Lf0s6KiaNfuO。
數據集解釋
接下來在第二篇中我會重點介紹下，代碼的實現，如何構建這樣一個訓練網絡，以及它的關鍵代碼，尤其是數據shape是如何變化的。
責任編輯：姜華
來源：
今日頭條
