基于循环神经网络的图像特定文本抽取方法 
下载： 1186次
Extraction Method of Interest Text in Image Based on Recurrent Neural Network
华侨大学信息科学与工程学院, 福建 厦门 361021
图 & 表
图 1. 命名实体识别示例
Fig. 1. Example of name entity recognition
下载图片 查看原文
图 2. LSTM网络单元
Fig. 2. LSTM network unit
下载图片 查看原文
图 3. 前向长短时记忆网络结构
Fig. 3. Structure of forward long short time memory network
下载图片 查看原文
图 4. BLSTM网络结构
Fig. 4. Structure of BLSTM network
下载图片 查看原文
图 5. CRF网络结构
Fig. 5. Structure of CRF network
下载图片 查看原文
图 6. BLSTM-CRFs模型结构
Fig. 6. Structure of BLSTM-CRFs model
下载图片 查看原文
图 7. IDTRAIN和IDVAL中生成的文本数据及标签示例。(a)样例a;(b)样例b
Fig. 7. Samples of text data and label generated in IDTRAIN and IDVAL. (a) Sample a; (b) sample b
下载图片 查看原文
图 8. YNIDREAL中的图像样本示例
Fig. 8. Samples of images in YNIDREAL
下载图片 查看原文
图 9. IDVAL上6种实体准确率。 (a) F1值;(b) P值;(c) R值
Fig. 9. Accuracy of six entities on IDVAL. (a) F1-score; (b) P value; (c) R value
下载图片 查看原文
图 10. YNIDREAL测试结果示例图。(a)文字检测结果;(b)文字识别结果;(c) BLSTM-CRF模型特定文本抽取结果;(d) CRF模型特定文本抽取结果
Fig. 10. Test results on YNIDREAL dataset. (a) Text detection results; (b) text recognition results; (c) result of interest text extraction using BLSTM-CRF model; (d) result of interest text extraction using CRF model
下载图片 查看原文
表 1实验数据集的分布
Table1. Distribution of experimental data set
| Item | Dataset category | Dataset type | Dataset size |
|---|
| Train | IDTRAIN | Text | 500 | | Validation | IDVAL | Text | 100 | | Test | YNIDREAL | Image | 61 |
|
查看原文
表 2CRF模型与BLSTM-CRF模型系统性能
Table2. System performances of CRF and BLSTM-CRF models
| Entity | CRF | BLSTM-CRF |
|---|
| P /% | R /% | F1 /% | P /% | R /% | F1 /% |
|---|
| Name | 75.00 | 68.85 | 71.79 | 86.89 | 86.89 | 86.89 | | Gender | 96.67 | 95.08 | 95.87 | 96.72 | 96.72 | 96.72 | | Nation | 95.00 | 93.44 | 94.21 | 93.44 | 93.44 | 93.44 | | Birth | 90.16 | 90.16 | 90.16 | 91.80 | 91.80 | 91.80 | | Address | 90.48 | 93.44 | 91.94 | 93.65 | 96.72 | 95.16 | | Idnum | 92.06 | 95.08 | 93.55 | 90.48 | 93.44 | 91.94 | | Average | 89.90 | 89.34 | 89.59 | 92.16 | 93.17 | 92.66 |
|
查看原文
表 3特定文本抽取完整性测试结果
Table3. Test results of integrity of interest text extraction
| Model | Succeednumber | Failnumber | Speed /(image·s-1) | Testaccuracy /% |
|---|
| OCR | Extraction |
|---|
| CRF | 44 | 17 | 0.17 | 97 | 72.13 | | BLSTM-CRF | 54 | 7 | 0.17 | 82 | 88.52 |
|
查看原文
杨恒杰, 闫铮, 邬宗玲, 方定邦, 段放. 基于循环神经网络的图像特定文本抽取方法[J]. 激光与光电子学进展, 2019, 56(24): 241501. Hengjie Yang, Zheng Yan, Zongling Wu, Dingbang Fang, Fang Duan. Extraction Method of Interest Text in Image Based on Recurrent Neural Network[J]. Laser & Optoelectronics Progress, 2019, 56(24): 241501.
PDF全文
