文字分析程式

资讯 2024-07-13 阅读:46 评论:0
在大正藏的經文中,除了常見的文字與句點之外,尚有許多其他的符號,其中主要的有校勘數字(有數字的黑圈)、校勘星號(星號)、斷詞小黑點,而較不重要的符號則有一些日本使用的讀音符號,這些符號請參考圖一。 in...
美化布局示例

欧易(OKX)最新版本

【遇到注册下载问题请加文章最下面的客服微信】永久享受返佣20%手续费!

APP下载   全球官网 大陆官网

币安(Binance)最新版本

币安交易所app【遇到注册下载问题请加文章最下面的客服微信】永久享受返佣20%手续费!

APP下载   官网地址

火币HTX最新版本

火币老牌交易所【遇到注册下载问题请加文章最下面的客服微信】永久享受返佣20%手续费!

APP下载   官网地址

在大正藏的經文中,除了常見的文字與句點之外,尚有許多其他的符號,其中主要的有校勘數字(有數字的黑圈)、校勘星號(星號)、斷詞小黑點,而較不重要的符號則有一些日本使用的讀音符號,這些符號請參考圖一。

in the text collection, there are many other symbols in addition to the usual text and endpoints, the main ones of which are calibration numbers (black circles with numbers), calibration asterisks (stars), descriptions with small black dots, and less important symbols with some Japanese reading symbols, which are referred to in Chart I.

在 CBETA 處理佛典電子化的過程中,有一部分的經文來源是網路上所流傳或十方大德主動提供的,然而這一類的經文,普遍的情況就是上述一些重要的符號沒有輸入,只有部分經文在輸入時有注意到這一點(例如早期蕭鎮國大德所提的經文)。

in the CBETA process of dealing with the electronicization of the Buddha, a part of the literature is provided by the Internet or by the Ten Grandes d'Etat. However, the general pattern of this type of literature is that some of the important symbols mentioned above have not been entered, except that some of the texts have noted this (e.g., the one proposed by the Grand Duchess of early Xiao).

這一類的符號,現有的 OCR 軟體都無法完全有效的辨識成功,所以當 CBETA 輸入組的同仁在處理這一類尚未輸入符號的經文時,早期都是採取人工輸入,但由於在時間與人力上都有極大的耗費,於是開始與資訊組同仁討論,看看能否找出更為簡便的方式來完成這個工作。 

cbocrp1.jpg (54196 bytes)
(圖一)
cbocrp2.jpg (68831 bytes)
(圖二)
資訊組的同仁在了解情況之後,自認為無法由 OCR 的層面來動腦筋,但由於要辨識的符號是量少而特殊的,所以產生了一個構想,並在 1998 年年底進行簡單的測試,大致上確認了可行性,並向輸入組建議這些校勘資訊暫時可以不要輸入,等到程式完成,再由程式來進行,而且由於目前 CBETA 公佈的經文尚沒有包含校勘資訊,所以這一個承諾就拖了一年多,直到 2000 年夏,有一部分經文需要插入斷點符號與全型空白,才使資訊組再度投入撰寫該支程式的工作。

這支程式的構想是這樣子的:

如果我們能正確的將大正藏圖檔上的經文與符號都判斷出來,那麼那些符號都有一些與一般文字不同的特殊屬性,例如大小、形狀、位置....經由這些的判斷,或許就可以得到某些資訊,而利用這些資訊再與現成的經文檔交叉分析比對,或許就可以取得我們所要的結果了。

在實作上的成果,與預期上大致差不多,底下就簡單的介紹運作的流程與應用方向。

一、首先,將大正藏經文圖檔的經文與符號逐一判斷出來,並嘗識辨識其所屬型態,目前計有:

  1. 文字 (淡紫色)
  2. 空心圈點 (淡藍色)
  3. 日本符號 (黃色)
  4. 斷詞小黑點 (深藍色)
  5. 校勘數字 (紅色)
  6. 校勘星號 (綠色)

  由圖二參考上述的顏色即可了解。

二、將辨識結果產生如下的結果檔:

T41n----_p0401b09║●■。。*■■■■■■■■■■....
T41n----_p0401b10║■■■。■■■■■●■■■....
T41n----_p0401b11║■■■■■■□■■■....
T41n----_p0401b12║■■。■■■.■■.■■■。....

  其中,各符號表示的意義如下:

■ : 表示一個文字
。 : 表示空心圈點
. : 表示字與字中間的斷詞小黑點
● : 表示一個校勘數字
* : 表示一個校勘星號
□ : 表示一個以上的空白

三、這是尚未加入符號的原始經文檔內容:

T41n1821_p0401b09_##║在。彼得果已亦必起勝果道....
T41n1821_p0401b10_##║後命終。是故聖者生第四靜....
T41n1821_p0401b11_##║成就無漏樂根P唯初盡....
T41n1821_p0401b12_##║道者。釋第五第六第七句。....

四、再用一支程式,將結果檔與原有經文交叉合併比對,就會產生如下的結果,再使用「看圖校對」程式來處理這一份經文,就可以快速的達成補上那些符號的工作。

T41n1821_p0401b09_##║{{||[●]}}在。{{||[*]}}彼得果已亦必起勝果道....
T41n1821_p0401b10_##║後命終。是故聖者生{{||[●]}}第四靜....
T41n1821_p0401b11_##║成就無漏樂根P唯初盡....
T41n1821_p0401b12_##║道者。釋第五{{||.}}第六{{||.}}第七句。....

我們為什麼不直接插入經文而要做成有異差的比對檔?因為程式在判斷的過程也無法保證百分之百正確,故做成比對檔,再利用看圖校對程式來一一檢查,雖然這樣做比較花時間,但品質上有了保證,就是很值得的事了。

程式中尚有許多問題存在,主因還是遇上圖形不夠清晰時,所產生辨識的困擾,這點極難克服,也是所有 OCR 軟體最怕遇上的吧!

再者,大正藏經文當中的雙行註解,也是目前無法有效處理的部分,由於資訊組評估投入的人力與成果,可能不及人工處理來的有效,所以這部分就暫時不予改進了。

1999 年春,得知了大陸與香港處理四庫全書電子化的資訊,有感於其中一套名為「書同文」OCR 軟體的強大專業功能,故本軟體取名為「車同軌」,以表達個人崇敬之意。

本軟體雖然沒有文字辨識的功能,縱使深入研究也很難超越一般商業軟體,但對於這些一般 OCR 軟體無法做的小功能,卻也能發揮小兵立功之效。這類的應用就看大家的想像力了,再以《卍字續藏》為例,卍字續藏經文中的句點是在文字旁邊,不是在文字下面,這對 OCR 而言,會造成難以辨識的結果,若能正確的判斷出句點並將之去除後再辨識,必有較好的成果,最後再利用類似本程式的方法適當的插入文字中,就能解決這一個問題了。

最後,關於此軟體的任何建議,還請十方大德不吝指教。

 
 
image

 

美化布局示例

欧易(OKX)最新版本

【遇到注册下载问题请加文章最下面的客服微信】永久享受返佣20%手续费!

APP下载   全球官网 大陆官网

币安(Binance)最新版本

币安交易所app【遇到注册下载问题请加文章最下面的客服微信】永久享受返佣20%手续费!

APP下载   官网地址

火币HTX最新版本

火币老牌交易所【遇到注册下载问题请加文章最下面的客服微信】永久享受返佣20%手续费!

APP下载   官网地址
文字格式和图片示例

注册有任何问题请添加 微信:MVIP619 拉你进入群

弹窗与图片大小一致 文章转载注明

分享:

扫一扫在手机阅读、分享本文

发表评论
平台列表
美化布局示例

欧易(OKX)

  全球官网 大陆官网

币安(Binance)

  官网

火币(HTX)

  官网

Gate.io

  官网

Bitget

  官网

deepcoin

  官网
热门文章
  • DDO在新加坡上市真假,欧意交易所能交易数字期权吗?

    DDO在新加坡上市真假,欧意交易所能交易数字期权吗?
    然而,对于DDO在新加坡的列名是否真实存在争议。 据报道,有人质疑DDO的数字选项是否真的上市,其背景是否经过了彻底调查。 首先,有报告说,DDO数字选项清单仅仅是一种宣传手段,没有找到DDO交易的平台,这就对DDO的真正清单提出了疑问。 其次,一些媒体调查了DDO数字选项的背景。 报告显示DDO数字选项发行人声称其数字选项是国家赞助的,但实际上,根据中国人民银行,虚拟货币相关业务是非法金融活动。 此外,DDO数字选项在视频号码等平台上广为传播,吸引了许多信徒的注意,然...
  • Griffin Gaming Partners计划为其第三支基金筹集5亿美元

    Griffin Gaming Partners计划为其第三支基金筹集5亿美元
    Pitchbook引用的6月8日《快链头条新闻》作为监管文件, 指出游戏风险投资公司Griffin赌博伙伴计划为其第三个旗舰基金筹集5亿美元, 比第二个基金少33%。 2021年,格里芬赌博伙伴从Web3游戏开发者Forte获得A回合资金1.85亿美元,并于2022年筹集了第二个旗舰基金,金额达7.5亿美元,此时风险资本家对Web3和加密游戏的热情达到顶峰。...
  • 加密货币之王重回王位:比特币飙升至 71,000 美元,还能再涨多少?

    加密货币之王重回王位:比特币飙升至 71,000 美元,还能再涨多少?
    比特币是市场上最大的加密货币,它再次打破了重要的7万美元门槛。 在短短的四舍五入(67,000美元到69,000美元之间)之后,价格在这一水平上遇到了强烈的抵制。 然而,势头的不断增强表明,比特币可能形成一个超过70 000美元的板块,为重新测试下一个抵抗阵地71 300美元和3月份可能攀升到历史最高点73 700美元铺平了道路。 问题仍然是:比特币能否维持预期的上升趋势并继续大幅上升?    分析家预计比特币价格将上升到74,400美元。 加密货币分析师Ali M...
  • 比过山车还狠!比特币价格再次暴跌

    比过山车还狠!比特币价格再次暴跌
      上周日,比特币的价格创造了3000美元的历史新高,随后就开始各种高台跳水了。Last Sunday, the price of Bitcoin created a record high of $3,000, and then began to dive on all the high platforms.   据外媒报道,本周一,比特币价格一度下跌到2526.4美元,最高跌幅高达14.5%,这创造了2015年1月以来最大跌幅。According to external...
  • 几张图看懂区块链技术到底是什么?https://www.cnblogs.com/behindman/p/8873191.html

    几张图看懂区块链技术到底是什么?https://www.cnblogs.com/behindman/p/8873191.html
    “区块链”的概念可以说是异常火爆,好像互联网金融峰会上没人谈一谈区块链技术就out了,BAT以及各大银行还有什么金融机构都在开始自己的区块链研究工作,就连IBM最近也成立了自己的区块链研究实验室,但其实区块链到底是什么?大家或许并不清楚,停留在雾里看花的状态。从今天开始,就让我们一起走进区块链,揭开区块链的神秘面纱吧!The concept of a block chain can be described as an unusually hot one, as if no...
标签列表