Kuzushiji-MNIST社区资源相关数据集与研究论文汇总【免费下载链接】kmnistRepository for Kuzushiji-MNIST, Kuzushiji-49, and Kuzushiji-Kanji项目地址: https://gitcode.com/gh_mirrors/km/kmnistKuzushiji-MNIST是一个专门为日本古典文学研究设计的深度学习数据集旨在帮助研究者和开发者更好地理解和处理日本江户时期的手写文字。这个开源项目包含了三个主要数据集Kuzushiji-MNIST、Kuzushiji-49和Kuzushiji-Kanji为计算机视觉和自然语言处理领域提供了宝贵的资源。本文将为您全面汇总Kuzushiji-MNIST的社区资源、相关数据集和研究论文帮助您快速入门和深入研究。 Kuzushiji-MNIST数据集介绍什么是Kuzushiji-MNISTKuzushiji-MNIST是一个专门设计的MNIST风格数据集包含70,000张28×28灰度图像覆盖10个平假名字符类别。这个数据集完美替代了传统的MNIST数据集为研究日本古典文字识别提供了标准化的测试平台。三大核心数据集Kuzushiji-MNIST- 包含10个类别每个类别6,000个训练样本和1,000个测试样本完美平衡Kuzushiji-49- 扩展至49个类别包含270,912张图像涵盖48个平假名字符和一个平假名重复标记Kuzushiji-Kanji- 包含3,832个汉字字符总计140,424张64×64图像是一个高度不平衡的数据集 数据集下载与使用指南一键下载脚本项目提供了方便的下载脚本download_data.py让您可以轻松获取所有数据集python download_data.py数据格式选择Kuzushiji-MNIST提供两种数据格式MNIST格式适用于需要直接替换MNIST或Fashion-MNIST的现有工具NumPy格式推荐使用加载简单arr np.load(filename)[arr_0]文件结构说明数据集文件结构 ├── Kuzushiji-MNIST │ ├── kmnist-train-imgs.npz (18MB) │ ├── kmnist-train-labels.npz (30KB) │ ├── kmnist-test-imgs.npz (3MB) │ └── kmnist-test-labels.npz (5KB) ├── Kuzushiji-49 │ ├── k49-train-imgs.npz (63MB) │ └── k49-test-imgs.npz (11MB) └── Kuzushiji-Kanji └── kkanji.tar (310MB) 基准测试与性能结果官方基准测试代码项目提供了两个基准测试脚本kuzushiji_mnist_knn.py - 4-近邻算法基准kuzushiji_mnist_cnn.py - Keras简单CNN基准最新性能排行榜模型MNIST准确率Kuzushiji-MNIST准确率Kuzushiji-49平衡准确率4-近邻基准97.14%92.10%83.65%PCA 4-kNN97.76%93.98%86.80%Keras简单CNN99.06%94.63%89.36%PreActResNet-1899.56%97.82%*96.64%*Shake-Shake-2699.76%99.34%*-注带星号的结果使用的是旧版本数据集 核心研究论文与引用主要研究论文Deep Learning for Classical Japanese Literature作者Tarin Clanuwat, Mikel Bober-Irizar, Asanobu Kitamoto, Alex Lamb, Kazuaki Yamamoto, David Ha发表时间2018年12月3日arXiv编号1812.01718研究领域计算机视觉、古典文献数字化正确引用格式如果您在研究中使用了Kuzushiji-MNIST数据集请使用以下引用格式online{clanuwat2018deep, author {Tarin Clanuwat and Mikel Bober-Irizar and Asanobu Kitamoto and Alex Lamb and Kazuaki Yamamoto and David Ha}, title {Deep Learning for Classical Japanese Literature}, date {2018-12-03}, year {2018}, eprintclass {cs.CV}, eprinttype {arXiv}, eprint {cs.CV/1812.01718}, }数据集引用说明数据集本身采用CC BY-SA 4.0许可协议使用时需要注明出处 KMNIST Dataset (created by CODH), adapted from Kuzushiji Dataset (created by NIJL and others), doi:10.20676/00000341 应用场景与研究方向计算机视觉研究手写文字识别算法开发迁移学习研究小样本学习Few-shot Learning数据不平衡问题研究文化遗产保护日本古典文献数字化历史文档自动转录文化遗产保护技术开发教育应用日语学习工具开发手写文字识别教学案例多语言OCR研究 快速开始指南安装与配置克隆项目仓库git clone https://gitcode.com/gh_mirrors/km/kmnist cd kmnist下载数据集python download_data.py运行基准测试python benchmarks/kuzushiji_mnist_cnn.py基本使用示例import numpy as np # 加载Kuzushiji-MNIST数据 def load_data(filename): return np.load(filename)[arr_0] # 加载训练和测试数据 x_train load_data(kmnist-train-imgs.npz) y_train load_data(kmnist-train-labels.npz) x_test load_data(kmnist-test-imgs.npz) y_test load_data(kmnist-test-labels.npz) 社区贡献与研究进展开源贡献指南项目欢迎社区贡献包括新的基准测试结果算法改进建议数据集扩展建议文档改进相关研究项目Kuzushiji Dataset- 原始数据集包含4,328个字符类型和1,086,326个字符图像日本古典文献数字化项目- 更广泛的文化遗产保护计划多语言OCR研究- 跨语言手写文字识别研究 评估指标与最佳实践评估指标选择Kuzushiji-MNIST使用标准top-1准确率Kuzushiji-49使用平衡准确率每个类别权重相等Kuzushiji-Kanji建议使用宏平均F1分数平衡准确率计算示例import numpy as np def balanced_accuracy(y_true, y_pred, num_classes49): accs [] for cls in range(num_classes): mask (y_true cls) if mask.any(): cls_acc (y_pred cls)[mask].mean() accs.append(cls_acc) return np.mean(accs) 相关资源与扩展阅读官方资源项目主页包含完整数据集下载和文档基准测试代码benchmarks/目录数据集映射文件包含类别到字符的映射学术资源arXiv论文详细的技术实现和实验结果学术会议论文相关领域的最新研究成果开源代码库社区贡献的各种实现学习资源教程和示例代码研究博客和技术文章在线课程和研讨会材料 实用技巧与注意事项数据预处理建议图像归一化将像素值缩放到[0,1]范围数据增强对于Kuzushiji-Kanji的不平衡问题建议使用数据增强技术迁移学习考虑使用在MNIST上预训练的模型进行微调常见问题解决版本问题如果是在2019年2月5日前下载的数据集请重新下载更新版本格式兼容性确保使用正确的数据格式加载内存管理大型数据集可能需要分批加载 未来发展方向数据集扩展计划更多字符类别的添加更高分辨率的图像版本多模态数据文本图像的整合研究挑战解决高度不平衡数据集的分类问题开发适用于历史文档的OCR技术跨时代文字风格迁移研究社区建设建立更活跃的研究社区组织相关竞赛和挑战赛提供更多的教程和文档资源Kuzushiji-MNIST作为一个专门为日本古典文学研究设计的数据集不仅为计算机视觉研究提供了宝贵资源也为文化遗产保护做出了重要贡献。通过本文的资源汇总希望您能更好地利用这些数据集进行研究开发推动相关领域的技术进步。【免费下载链接】kmnistRepository for Kuzushiji-MNIST, Kuzushiji-49, and Kuzushiji-Kanji项目地址: https://gitcode.com/gh_mirrors/km/kmnist创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考