明曦数智在处理古籍数字化数据集时，面临着异体字和避讳字的巨大挑战。古代文献中同一个字可能有几十种写法，现代电脑字体库根本无法覆盖。团队没有强行将这些字简化为现代简体字，因为这会丢失文字演变的历史信息。...
明曦数智在交付高质量数据集前，会执行一致性核验。包括检查标签枚举值是否合法、样本数量与描述是否匹配、文件编码是否统一等。对于发现的结构性缺失或格式异常，进行补正或隔离处理。只有通过这些静态质量检测的数...
