Merge pull request #7 from direct-phonology/remove-whitespace

Remove all whitespace

README.md

@@ -3,6 +3,8 @@ This repository aggregates the Kanseki Repository's digital versions of 64 key t
 
 Note that **not all texts are represented** - both _Shenzi_ texts<sup>2</sup> are not included here. Neither text is extant in the Kanseki Repository, and sourcing digital versions is difficult due to the texts' severely fragmentary nature. Users seeking these texts are encouraged to visit the versions offered by the Chinese Text Project<sup>3</sup>.
 
+Texts are preprocessed to remove paratext (e.g. commentaries), punctuation, whitespace, and non-Chinese characters. The aim is to produce output that can be used for machine learning, natural language processing, and other computational applications.
+
 ## Usage
 ### Downloading
 You can download compressed archives of all texts from the [releases page](https://github.com/direct-phonology/ect-krp/releases).

bin/org2txt.py

@@ -36,8 +36,7 @@
                 # ignore '000' files since they're usually ToCs / introductions
                 if "000.txt" in str(file):
                     continue
-                cleaned_file = clean_file(file)
-                output = wrap_lines(cleaned_file, 13)
+                output = clean_file(file)
 
                 # write to a new file in txt/ folder
                 new_file = Path(f"{OUT_DIR}/{path.stem}/{file.name}")

txt/KR1a0001/KR1a0001_001.txt

@@ -1,77 +1 @@
-䷀乾下乾上乾元亨利貞初九潛
-龍勿用九二見龍在田利見大人
-九三君子終日乾乾夕惕若厲无
-咎九四或躍在淵无咎九五飛龍
-在天利見大人上九亢龍有悔用
-九見群龍无首吉彖曰大哉乾元
-萬物資始乃統天雲行雨施品物
-流形大明終始六位時成時乘六
-龍以御天乾道變化各正性命保
-合大和乃利貞首出庶物萬國咸
-寧象曰天行健君子以自強不息
-潛龍勿用陽在下也見龍在田德
-施普也終日乾乾反復道也或躍
-在淵進无咎也飛龍在天大人造
-也亢龍有悔盈不可久也用九天
-德不可為首也文言曰元者善之
-長也亨者嘉之會也利者義之和
-也貞者事之幹也君子體仁足以
-長人嘉會足以合禮利物足以和
-義貞固足以幹事君子行此四德
-者故曰乾元亨利貞初九曰潛龍
-勿用何謂也子曰龍德而隱者也
-不易乎世不成乎名遯世无悶不
-見是而无悶樂則行之憂則違之
-確乎其不可拔潛龍也九二曰見
-龍在田利見大人何謂也子曰龍
-德而正中者也庸言之信庸行之
-謹閑邪存其誠善世而不伐德博
-而化易曰見龍在田利見大人君
-德也九三曰君子終日乾乾夕惕
-若厲无咎何謂也子曰君子進德
-脩業忠信所以進德也脩辭立其
-誠所以居業也知至至之可與幾
-也知終終之可與存義也是故居
-上位而不驕在下位而不憂故乾
-乾因其時而惕雖危无咎矣九四
-曰或躍在淵无咎何謂也子曰上
-下无常非為邪也進退无恆非離
-群也君子進德脩業欲及時也故
-无咎九五曰飛龍在天利見大人
-何謂也子曰同聲相應同氣相求
-水流濕火就燥雲從龍風從虎聖
-人作而萬物覩本乎天者親上本
-乎地者親下則各從其類也上九
-曰亢龍有悔何謂也子曰貴而无
-位高而无民賢人在下位而无輔
-是以動而有悔也潛龍勿用下也
-見龍在田時舍也終日乾乾行事
-也或躍在淵自試也飛龍在天上
-治也亢龍有悔窮之災也乾元用
-九天下治也潛龍勿用陽氣潛藏
-見龍在田天下文明終日乾乾與
-時偕行或躍在淵乾道乃革飛龍
-在天乃位乎天德亢龍有悔與時
-偕極乾元用九乃見天則乾元亨
-者始而亨者也利貞者性情也乾
-始能以美利利天下不言所利大
-矣哉大哉乾乎剛健中正純粹精
-也六爻發揮旁通情也時乘六龍
-以御天也雲行雨施天下平也君
-子以成德為行日可見之行也潛
-之為言也隱而未見行而未成是
-以君子弗用也君子學以聚之問
-以辯之寬以居之仁以行之易曰
-見龍在田利見大人君德也九三
-重剛而不中上不在天下不在田
-故乾乾因其時而惕雖危无咎矣
-九四重剛而不中上不在天下不
-在田中不在人故或之或之者疑
-之也故无咎夫大人者與天地合
-其德與日月合其明與四時合其
-序與鬼神合其吉凶先天而天弗
-違後天而奉天時天且弗違而況
-於人乎況於鬼神乎亢之為言也
-知進而不知退知存而不知亡知
-得而不知喪其唯聖人乎知進退
-存亡而不失其正者其唯聖人乎
+䷀乾下乾上乾元亨利貞初九潛龍勿用九二見龍在田利見大人九三君子終日乾乾夕惕若厲无咎九四或躍在淵无咎九五飛龍在天利見大人上九亢龍有悔用九見群龍无首吉彖曰大哉乾元萬物資始乃統天雲行雨施品物流形大明終始六位時成時乘六龍以御天乾道變化各正性命保合大和乃利貞首出庶物萬國咸寧象曰天行健君子以自強不息潛龍勿用陽在下也見龍在田德施普也終日乾乾反復道也或躍在淵進无咎也飛龍在天大人造也亢龍有悔盈不可久也用九天德不可為首也文言曰元者善之長也亨者嘉之會也利者義之和也貞者事之幹也君子體仁足以長人嘉會足以合禮利物足以和義貞固足以幹事君子行此四德者故曰乾元亨利貞初九曰潛龍勿用何謂也子曰龍德而隱者也不易乎世不成乎名遯世无悶不見是而无悶樂則行之憂則違之確乎其不可拔潛龍也九二曰見龍在田利見大人何謂也子曰龍德而正中者也庸言之信庸行之謹閑邪存其誠善世而不伐德博而化易曰見龍在田利見大人君德也九三曰君子終日乾乾夕惕若厲无咎何謂也子曰君子進德脩業忠信所以進德也脩辭立其誠所以居業也知至至之可與幾也知終終之可與存義也是故居上位而不驕在下位而不憂故乾乾因其時而惕雖危无咎矣九四曰或躍在淵无咎何謂也子曰上下无常非為邪也進退无恆非離群也君子進德脩業欲及時也故无咎九五曰飛龍在天利見大人何謂也子曰同聲相應同氣相求水流濕火就燥雲從龍風從虎聖人作而萬物覩本乎天者親上本乎地者親下則各從其類也上九曰亢龍有悔何謂也子曰貴而无位高而无民賢人在下位而无輔是以動而有悔也潛龍勿用下也見龍在田時舍也終日乾乾行事也或躍在淵自試也飛龍在天上治也亢龍有悔窮之災也乾元用九天下治也潛龍勿用陽氣潛藏見龍在田天下文明終日乾乾與時偕行或躍在淵乾道乃革飛龍在天乃位乎天德亢龍有悔與時偕極乾元用九乃見天則乾元亨者始而亨者也利貞者性情也乾始能以美利利天下不言所利大矣哉大哉乾乎剛健中正純粹精也六爻發揮旁通情也時乘六龍以御天也雲行雨施天下平也君子以成德為行日可見之行也潛之為言也隱而未見行而未成是以君子弗用也君子學以聚之問以辯之寬以居之仁以行之易曰見龍在田利見大人君德也九三重剛而不中上不在天下不在田故乾乾因其時而惕雖危无咎矣九四重剛而不中上不在天下不在田中不在人故或之或之者疑之也故无咎夫大人者與天地合其德與日月合其明與四時合其序與鬼神合其吉凶先天而天弗違後天而奉天時天且弗違而況於人乎況於鬼神乎亢之為言也知進而不知退知存而不知亡知得而不知喪其唯聖人乎知進退存亡而不失其正者其唯聖人乎

txt/KR1a0001/KR1a0001_002.txt

@@ -1,42 +1 @@
-䷁坤下坤上坤元亨利牝馬之貞
-君子有攸往先迷後得主利西南
-得朋東北喪朋安貞吉彖曰至哉
-坤元萬物資生乃順承天坤厚載
-物德合无疆含弘光大品物咸亨
-牝馬地類行地无疆柔順利貞君
-子攸行先迷失道後順得常西南
-得朋乃與類行東北喪朋乃終有
-慶安貞之吉應地无疆象曰地勢
-坤君子以厚德載物初六履霜堅
-冰至象曰履霜堅冰陰始凝也馴
-致其道至堅冰也六二直方大不
-習无不利象曰六二之動直以方
-也不習无不利地道光也六三含
-章可貞或從王事无成有終象曰
-含章可貞以時發也或從王事知
-光大也六四括囊无咎无譽象曰
-括囊无咎慎不害也六五黃裳元
-吉象曰黃裳元吉文在中也上六
-龍戰于野其血玄黃象曰龍戰于
-野其道窮也用六利永貞象曰用
-六永貞以大終也文言曰坤至柔
-而動也剛至靜而德方後得主而
-有常含萬物而化光坤道其順乎
-承天而時行積善之家必有餘慶
-積不善之家必有餘殃臣弒其君
-子弒其父非一朝一夕之故其所
-由來者漸矣由辯之不早辯也易
-曰履霜堅冰至蓋言順也直其正
-也方其義也君子敬以直內義以
-方外敬義立而德不孤直方大不
-習无不利則不疑其所行也陰雖
-有美含之以從王事弗敢成也地
-道也妻道也臣道也地道無成而
-代有終也天地變化草木蕃天地
-閉賢人隱易曰括囊无咎无譽蓋
-言謹也君子黃中通理正位居體
-美在其中而暢於四支發於事業
-美之至也陰疑於陽必戰為其嫌
-於无陽也故稱龍焉猶未離其類
-也故稱血焉夫玄黃者天地之雜
-也天玄而地黃
+䷁坤下坤上坤元亨利牝馬之貞君子有攸往先迷後得主利西南得朋東北喪朋安貞吉彖曰至哉坤元萬物資生乃順承天坤厚載物德合无疆含弘光大品物咸亨牝馬地類行地无疆柔順利貞君子攸行先迷失道後順得常西南得朋乃與類行東北喪朋乃終有慶安貞之吉應地无疆象曰地勢坤君子以厚德載物初六履霜堅冰至象曰履霜堅冰陰始凝也馴致其道至堅冰也六二直方大不習无不利象曰六二之動直以方也不習无不利地道光也六三含章可貞或從王事无成有終象曰含章可貞以時發也或從王事知光大也六四括囊无咎无譽象曰括囊无咎慎不害也六五黃裳元吉象曰黃裳元吉文在中也上六龍戰于野其血玄黃象曰龍戰于野其道窮也用六利永貞象曰用六永貞以大終也文言曰坤至柔而動也剛至靜而德方後得主而有常含萬物而化光坤道其順乎承天而時行積善之家必有餘慶積不善之家必有餘殃臣弒其君子弒其父非一朝一夕之故其所由來者漸矣由辯之不早辯也易曰履霜堅冰至蓋言順也直其正也方其義也君子敬以直內義以方外敬義立而德不孤直方大不習无不利則不疑其所行也陰雖有美含之以從王事弗敢成也地道也妻道也臣道也地道無成而代有終也天地變化草木蕃天地閉賢人隱易曰括囊无咎无譽蓋言謹也君子黃中通理正位居體美在其中而暢於四支發於事業美之至也陰疑於陽必戰為其嫌於无陽也故稱龍焉猶未離其類也故稱血焉夫玄黃者天地之雜也天玄而地黃

txt/KR1a0001/KR1a0001_003.txt

@@ -1,18 +1 @@
-䷂震下坎上屯元亨利貞勿用有
-攸往利建侯彖曰屯剛柔始交而
-難生動乎險中大亨貞雷雨之動
-滿盈天造草昧宜建侯而不寧象
-曰雲雷屯君子以經綸初九磐桓
-利居貞利建侯象曰雖磐桓志行
-正也以貴下賤大得民也六二屯
-如邅如乘馬班如匪寇婚媾女子
-貞不字十年乃字象曰六二之難
-乘剛也十年乃字反常也六三即
-鹿無虞惟入于林中君子幾不如
-舍往吝象曰即鹿无虞以從禽也
-君子舍之往吝窮也六四乘馬班
-如求婚媾往吉无不利象曰求而
-往明也九五屯其膏小貞吉大貞
-凶象曰屯其膏施未光也上六乘
-馬班如泣血漣如象曰泣血漣如
-何可長也
+䷂震下坎上屯元亨利貞勿用有攸往利建侯彖曰屯剛柔始交而難生動乎險中大亨貞雷雨之動滿盈天造草昧宜建侯而不寧象曰雲雷屯君子以經綸初九磐桓利居貞利建侯象曰雖磐桓志行正也以貴下賤大得民也六二屯如邅如乘馬班如匪寇婚媾女子貞不字十年乃字象曰六二之難乘剛也十年乃字反常也六三即鹿無虞惟入于林中君子幾不如舍往吝象曰即鹿无虞以從禽也君子舍之往吝窮也六四乘馬班如求婚媾往吉无不利象曰求而往明也九五屯其膏小貞吉大貞凶象曰屯其膏施未光也上六乘馬班如泣血漣如象曰泣血漣如何可長也

txt/KR1a0001/KR1a0001_004.txt

@@ -1,17 +1 @@
-䷃坎下艮上蒙亨匪我求童蒙童
-蒙來求我初筮告再三瀆瀆則不
-告利貞彖曰蒙山下有險險而止
-蒙蒙亨以亨行時中也匪我求童
-蒙童蒙來求我志應也初筮告以
-剛中也再三瀆瀆則不告瀆蒙也
-蒙以養正聖功也象曰山下出泉
-蒙君子以果行育德初六發蒙利
-用刑人用說桎梏以往吝象曰利
-用刑人以正法也九二苞蒙吉納
-婦吉子克家象曰子克家剛柔接
-也六三勿用取女見金夫不有躬
-无攸利象曰勿用取女行不順也
-六四困蒙吝象曰困蒙之吝獨遠
-實也六五童蒙吉象曰童蒙之吉
-順以巽也上九擊蒙不利為寇利
-禦寇象曰利用禦寇上下順也
+䷃坎下艮上蒙亨匪我求童蒙童蒙來求我初筮告再三瀆瀆則不告利貞彖曰蒙山下有險險而止蒙蒙亨以亨行時中也匪我求童蒙童蒙來求我志應也初筮告以剛中也再三瀆瀆則不告瀆蒙也蒙以養正聖功也象曰山下出泉蒙君子以果行育德初六發蒙利用刑人用說桎梏以往吝象曰利用刑人以正法也九二苞蒙吉納婦吉子克家象曰子克家剛柔接也六三勿用取女見金夫不有躬无攸利象曰勿用取女行不順也六四困蒙吝象曰困蒙之吝獨遠實也六五童蒙吉象曰童蒙之吉順以巽也上九擊蒙不利為寇利禦寇象曰利用禦寇上下順也

txt/KR1a0001/KR1a0001_005.txt

@@ -1,18 +1 @@
-䷄乾下坎上需有孚光亨貞吉利
-涉大川彖曰需須也險在前也剛
-健而不陷其義不困窮矣需有孚
-光亨貞吉位乎天位以正中也利
-涉大川往有功也象曰雲上於天
-需君子以飲食宴樂初九需于郊
-利用恆无咎象曰需于郊不犯難
-行也利用恆无咎未失常也九二
-需于沙小有言終吉象曰需于沙
-行在中也雖小有言以吉終也九
-三需于泥致寇至象曰需于泥災
-在外也自我致寇敬慎不敗也六
-四需于血出自穴象曰需于血順
-以聽也九五需于酒食貞吉象曰
-酒食貞吉以中正也上六入于穴
-有不速之客三人來敬之終吉象
-曰不速之客來敬之終吉也雖不
-當位未大失也
+䷄乾下坎上需有孚光亨貞吉利涉大川彖曰需須也險在前也剛健而不陷其義不困窮矣需有孚光亨貞吉位乎天位以正中也利涉大川往有功也象曰雲上於天需君子以飲食宴樂初九需于郊利用恆无咎象曰需于郊不犯難行也利用恆无咎未失常也九二需于沙小有言終吉象曰需于沙行在中也雖小有言以吉終也九三需于泥致寇至象曰需于泥災在外也自我致寇敬慎不敗也六四需于血出自穴象曰需于血順以聽也九五需于酒食貞吉象曰酒食貞吉以中正也上六入于穴有不速之客三人來敬之終吉象曰不速之客來敬之終吉也雖不當位未大失也

txt/KR1a0001/KR1a0001_006.txt

@@ -1,18 +1 @@
-䷅坎下乾上訟有孚窒惕中吉終
-凶利見大人不利涉大川彖曰訟
-上剛下險險而健訟訟有孚窒惕
-中吉剛來而得中也終凶訟不可
-成也利見大人尚中正也不利涉
-大川入于淵也象曰天與水違行
-訟君子以作事謀始初六不永所
-事小有言終吉象曰不永所事訟
-不可長也雖小有言其辯明也九
-二不克訟歸而逋其邑人三百戶
-无眚象曰不克訟歸逋竄也自下
-訟上患至掇也六三食舊德貞厲
-終吉或從王事无成象曰食舊德
-從上吉也九四不克訟復即命渝
-安貞吉象曰復即命渝安貞不失
-也九五訟元吉象曰訟元吉以中
-正也上九或錫之鞶帶終朝三褫
-之象曰以訟受服亦不足敬也
+䷅坎下乾上訟有孚窒惕中吉終凶利見大人不利涉大川彖曰訟上剛下險險而健訟訟有孚窒惕中吉剛來而得中也終凶訟不可成也利見大人尚中正也不利涉大川入于淵也象曰天與水違行訟君子以作事謀始初六不永所事小有言終吉象曰不永所事訟不可長也雖小有言其辯明也九二不克訟歸而逋其邑人三百戶无眚象曰不克訟歸逋竄也自下訟上患至掇也六三食舊德貞厲終吉或從王事无成象曰食舊德從上吉也九四不克訟復即命渝安貞吉象曰復即命渝安貞不失也九五訟元吉象曰訟元吉以中正也上九或錫之鞶帶終朝三褫之象曰以訟受服亦不足敬也

txt/KR1a0001/KR1a0001_007.txt

@@ -1,17 +1 @@
-䷆坎下坤上師貞丈人吉无咎彖
-曰師眾也貞正也能以眾正可以
-王矣剛中而應行險而順以此毒
-天下而民從之吉又何咎矣象曰
-地中有水師君子以容民畜眾初
-六師出以律否臧凶象曰師出以
-律失律凶也九二在師中吉无咎
-王三錫命象曰在師中吉承天寵
-也王三錫命懷萬邦也六三師或
-輿尸凶象曰師或輿尸大无功也
-六四師左次无咎象曰左次无咎
-未失常也六五田有禽利執言无
-咎長子帥師弟子輿尸貞凶象曰
-長子帥師以中行也弟子輿尸使
-不當也上六大君有命開國承家
-小人勿用象曰大君有命以正功
-也小人勿用必亂邦也
+䷆坎下坤上師貞丈人吉无咎彖曰師眾也貞正也能以眾正可以王矣剛中而應行險而順以此毒天下而民從之吉又何咎矣象曰地中有水師君子以容民畜眾初六師出以律否臧凶象曰師出以律失律凶也九二在師中吉无咎王三錫命象曰在師中吉承天寵也王三錫命懷萬邦也六三師或輿尸凶象曰師或輿尸大无功也六四師左次无咎象曰左次无咎未失常也六五田有禽利執言无咎長子帥師弟子輿尸貞凶象曰長子帥師以中行也弟子輿尸使不當也上六大君有命開國承家小人勿用象曰大君有命以正功也小人勿用必亂邦也

txt/KR1a0001/KR1a0001_008.txt

@@ -1,17 +1 @@
-䷇坤下坎上比吉原筮元永貞无
-咎不寧方來後夫凶彖曰（比吉
-也）比輔也下順從也比吉原筮
-元永貞无咎以剛中也不寧方來
-上下應也後夫凶其道窮也象曰
-地上有水比先王以建萬國親諸
-侯初六有孚比之无咎有孚盈缶
-終來有它吉象曰比之初六有它
-吉也六二比之自內貞吉象曰比
-之自內不自失也六三比之匪人
-象曰比之匪人不亦傷乎六四外
-比之貞吉象曰外比於賢以從上
-也九五顯比王用三驅失前禽邑
-人不誡吉象曰顯比之吉位正中
-也舍逆取順失前禽也邑人不誡
-上使中也上六比之无首凶象曰
-比之无首无所終也
+䷇坤下坎上比吉原筮元永貞无咎不寧方來後夫凶彖曰（比吉也）比輔也下順從也比吉原筮元永貞无咎以剛中也不寧方來上下應也後夫凶其道窮也象曰地上有水比先王以建萬國親諸侯初六有孚比之无咎有孚盈缶終來有它吉象曰比之初六有它吉也六二比之自內貞吉象曰比之自內不自失也六三比之匪人象曰比之匪人不亦傷乎六四外比之貞吉象曰外比於賢以從上也九五顯比王用三驅失前禽邑人不誡吉象曰顯比之吉位正中也舍逆取順失前禽也邑人不誡上使中也上六比之无首凶象曰比之无首无所終也