zsl.md

zero-shot testing performance

The following 613 languages have at least 1 entry in the Wikitionary but less than 50 entries. Those languages are not seen during the training. It is based on the ensemble approach proposed in our work. You should be able to reproduce this table by using transphone.bin.eval_zsl_g2p

• the average phoneme error rate is 0.31
• the average phonological distance is 0.13

language	phoneme error rate	phonological distance
aau	0.304	0.154
aax	0.125	0.125
abd	0.111	0.111
abe	0.171	0.034
abq	0.297	0.074
abs	0.250	0.034
abt	0.571	0.249
abv	0.500	0.034
aby	0.083	0.014
ace	0.433	0.143
acm	0.213	0.117
acn	1.333	0.822
acv	0.667	0.345
aeb	0.291	0.139
aek	0.000	0.000
aem	0.224	0.047
agg	0.385	0.072
agm	0.385	0.109
agn	0.500	0.500
agu	0.000	0.000
aib	0.200	0.014
aii	0.385	0.174
aio	0.300	0.085
aji	0.081	0.057
aka	0.325	0.037
akj	0.571	0.369
akl	0.283	0.217
alc	0.000	0.000
alq	0.416	0.062
alt	0.227	0.021
ami	0.143	0.012
amm	0.235	0.039
amn	0.091	0.091
amp	0.000	0.000
ams	0.625	0.191
amw	0.241	0.131
anc	0.333	0.023
ane	0.500	0.181
ank	0.389	0.126
anm	0.000	0.000
anq	0.193	0.055
aoc	0.000	0.000
aoi	0.333	0.172
apc	0.336	0.177
ape	0.165	0.062
api	0.714	0.209
apm	0.000	0.000
apn	0.400	0.243
apr	0.000	0.000
apy	0.300	0.010
aqc	0.400	0.131
aqz	0.333	0.333
are	0.600	0.166
arg	0.075	0.022
arn	0.196	0.051
arp	0.600	0.245
arq	0.190	0.133
arr	0.000	0.000
ars	0.500	0.272
arw	0.000	0.000
ava	0.471	0.248
avd	0.426	0.148
ave	1.143	0.622
awk	0.333	0.057
aym	0.064	0.031
ayp	0.286	0.150
azz	0.167	0.167
bap	1.000	0.069
bar	0.185	0.038
bbh	1.000	1.000
bbk	0.167	0.076
bbo	1.000	0.073
bca	1.000	0.741
bch	0.333	0.029
bci	0.250	0.054
bdd	0.167	0.049
bdg	0.200	0.200
bdh	0.000	0.000
bdo	0.200	0.200
bdy	0.000	0.000
bea	0.000	0.000
beg	0.333	0.121
beu	0.065	0.018
bfm	0.000	0.000
bft	0.562	0.205
bhi	0.000	0.000
bhl	0.000	0.000
bhm	0.333	0.333
bin	0.286	0.143
bis	0.000	0.000
bja	0.000	0.000
bjb	0.000	0.000
bjn	0.000	0.000
bkd	0.200	0.003
bkh	0.000	0.000
bkj	1.500	1.017
bkq	0.000	0.000
blc	0.571	0.274
blf	0.250	0.026
bmh	0.333	0.333
bnn	0.000	0.000
bns	0.500	0.017
boa	0.714	0.235
boj	0.000	0.000
bor	0.252	0.079
bpy	0.149	0.056
bqi	0.344	0.118
bra	0.283	0.123
brg	0.071	0.013
brh	1.333	0.747
brx	0.231	0.156
bsh	0.600	0.298
bsk	0.341	0.157
bsw	0.000	0.000
bua	0.243	0.088
bug	0.250	0.105
bvx	0.333	0.333
bwa	0.250	0.250
bwp	0.125	0.125
bwr	0.197	0.123
bxd	0.900	0.621
byx	0.143	0.143
cag	0.218	0.089
cak	0.400	0.040
cal	0.200	0.014
caq	0.857	0.390
cbv	0.333	0.057
ccc	0.190	0.060
ccm	0.400	0.064
cdm	0.500	0.336
cgk	0.500	0.441
cha	0.127	0.044
chc	0.250	0.134
chg	0.200	0.200
chk	0.344	0.117
chl	0.167	0.089
chm	0.143	0.009
chp	0.000	0.000
chu	0.000	0.000
chy	0.444	0.201
cia	0.000	0.000
cic	0.435	0.092
cim	0.000	0.000
cjs	0.085	0.008
ckt	0.367	0.028
ckv	0.250	0.097
clk	0.200	0.200
cog	0.436	0.074
cpg	0.200	0.103
cre	0.231	0.080
crg	0.592	0.245
crh	0.500	0.026
cri	0.113	0.034
cro	0.549	0.209
csi	0.000	0.000
csm	0.203	0.119
cta	0.500	0.500
ctg	0.500	0.283
ctp	0.381	0.257
cts	0.000	0.000
cup	0.158	0.046
cuq	0.333	0.333
cwg	0.000	0.000
dak	0.190	0.074
dal	0.250	0.173
ddo	0.192	0.087
des	0.000	0.000
din	0.000	0.000
div	1.250	1.026
dlg	0.297	0.066
dni	0.000	0.000
dta	0.505	0.162
dua	0.137	0.067
duf	0.282	0.148
duk	0.500	0.131
duo	0.046	0.015
dus	0.077	0.077
dyu	0.000	0.000
eme	0.286	0.030
ero	0.333	0.034
eve	0.276	0.021
evn	0.324	0.041
ext	0.079	0.038
fax	0.500	0.026
fay	0.222	0.073
fij	0.312	0.101
fkv	0.064	0.034
fos	0.200	0.003
frm	0.493	0.174
frp	0.410	0.196
fud	0.000	0.000
ful	0.400	0.194
fur	0.203	0.012
gaa	0.221	0.081
gac	0.083	0.003
gag	0.222	0.056
gah	0.400	0.221
gbb	0.750	0.219
gdq	0.405	0.077
geh	0.500	0.254
gil	0.176	0.064
gin	0.238	0.133
giw	1.000	1.000
gld	0.000	0.000
gmh	0.293	0.068
goi	0.333	0.057
gor	0.000	0.000
gqn	0.111	0.058
gri	0.000	0.000
grt	0.086	0.058
gub	0.111	0.011
gug	0.342	0.115
gul	0.400	0.207
gun	0.571	0.240
gup	0.295	0.124
gut	0.000	0.000
gvf	0.000	0.000
gvj	0.000	0.000
gvp	0.333	0.023
gwc	0.205	0.057
gwe	0.400	0.214
gwi	0.000	0.000
haa	1.333	0.836
hac	0.000	0.000
hai	0.333	0.072
hau	0.390	0.089
hdn	0.000	0.000
hil	0.091	0.068
hoi	0.500	0.040
hop	0.500	0.124
hot	0.000	0.000
hsb	0.194	0.030
hto	0.333	0.218
hup	0.000	0.000
hux	0.333	0.218
huz	0.576	0.164
hvk	0.000	0.000
iba	0.217	0.107
ibo	0.194	0.092
idb	0.000	0.000
ing	0.462	0.109
ipk	0.000	0.000
irk	0.500	0.119
ivv	0.200	0.034
iws	0.000	0.000
jaa	0.216	0.151
jav	0.375	0.027
jbt	0.750	0.328
jdt	0.478	0.115
jiv	0.333	0.097
jra	0.278	0.160
jur	0.333	0.175
jut	0.372	0.152
kaa	0.286	0.078
kab	0.222	0.100
kac	0.267	0.037
kam	0.192	0.081
kap	0.145	0.034
kaw	0.000	0.000
kay	0.176	0.069
kca	0.225	0.038
kcx	0.000	0.000
kdd	0.000	0.000
kea	0.244	0.008
kgg	0.619	0.413
kgp	0.380	0.143
kht	0.000	0.000
khv	0.116	0.036
kij	0.000	0.000
kim	0.200	0.024
kin	0.233	0.115
kip	0.206	0.009
kjb	0.250	0.048
kjg	0.000	0.000
kjh	0.219	0.027
kjl	0.167	0.017
kjp	0.727	0.638
kjz	0.000	0.000
kky	0.136	0.053
kla	0.400	0.210
kls	0.375	0.092
kmc	0.615	0.435
kmg	0.333	0.034
kmj	1.000	0.103
kmv	0.250	0.041
kne	0.200	0.021
knx	0.333	0.333
koi	0.059	0.010
kos	0.423	0.284
koy	0.667	0.356
kpy	0.250	0.015
kqy	0.333	0.006
krc	0.600	0.055
kre	0.429	0.038
kru	1.000	0.241
ksi	0.000	0.000
kue	0.250	0.088
kum	0.375	0.045
kuu	0.333	0.023
kwa	1.333	0.718
kwk	0.556	0.109
kxm	0.500	0.069
kxo	0.241	0.040
kyq	0.200	0.200
kzg	0.364	0.114
lac	0.222	0.113
laq	0.667	0.023
lbe	0.091	0.003
led	0.500	0.013
lez	1.000	0.368
lha	0.333	0.011
lhu	1.429	0.608
lin	0.000	0.000
lkt	0.298	0.089
lld	0.292	0.106
lmd	0.750	0.026
lmn	0.333	0.333
lnd	0.122	0.045
loe	0.286	0.286
lou	0.071	0.038
lrc	0.200	0.200
lti	0.400	0.207
lug	0.200	0.200
luo	0.407	0.083
lus	0.103	0.043
lut	0.333	0.207
lzz	0.121	0.050
mam	0.000	0.000
maz	0.750	0.267
mcm	0.000	0.000
mco	0.778	0.358
mei	0.667	0.095
meo	0.273	0.077
mep	0.368	0.177
mer	0.000	0.000
met	0.074	0.038
mey	0.667	0.391
mfh	0.327	0.127
mgp	0.600	0.203
mhj	0.000	0.000
mhn	0.150	0.017
mhu	0.400	0.207
mia	0.167	0.003
mih	0.000	0.000
min	0.000	0.000
miq	0.000	0.000
miw	0.200	0.014
mjc	0.000	0.000
mlm	0.625	0.498
mlp	0.000	0.000
mlv	1.000	0.159
mmc	0.750	0.272
mne	0.400	0.207
mng	0.143	0.002
mnk	0.420	0.097
mns	0.472	0.178
moe	0.571	0.022
moh	0.257	0.177
mop	0.667	0.351
mos	0.165	0.042
mri	0.438	0.071
msn	0.119	0.073
mtd	0.667	0.454
mtq	0.130	0.012
mup	0.000	0.000
mus	0.500	0.128
mwl	0.333	0.047
mxb	0.212	0.080
mxi	0.386	0.174
myp	0.222	0.144
myv	0.098	0.004
mzn	0.424	0.160
mzq	0.400	0.297
naq	0.000	0.000
nau	0.091	0.005
naz	0.190	0.075
ncb	2.000	1.134
nch	0.191	0.068
ncj	0.333	0.107
ngu	0.168	0.052
nhe	0.196	0.124
nhm	0.158	0.073
nht	0.000	0.000
nhv	0.286	0.121
nhw	0.118	0.037
nhy	0.143	0.027
nia	0.173	0.009
niq	0.000	0.000
niu	0.111	0.021
njo	1.000	0.552
njz	0.222	0.127
nlv	0.178	0.066
nmc	0.339	0.219
nnp	0.667	0.368
nod	0.000	0.000
noe	0.000	0.000
nor	0.435	0.121
ntj	0.400	0.229
nus	0.000	0.000
nuz	0.214	0.070
nxn	0.500	0.208
nxq	0.957	0.403
oca	0.250	0.250
odt	0.333	0.006
ofu	0.500	0.013
oge	0.041	0.015
okn	0.562	0.275
ole	0.333	0.103
omc	0.111	0.002
omx	0.684	0.324
onu	0.000	0.000
ood	0.333	0.161
oon	0.000	0.000
orv	0.333	0.170
oss	0.290	0.140
ote	0.299	0.071
otq	0.750	0.272
ott	0.750	0.272
ovd	0.474	0.144
owl	0.429	0.028
pag	0.103	0.040
pal	0.222	0.133
pam	0.105	0.059
pap	0.143	0.012
pav	0.158	0.144
pcd	0.667	0.362
pdo	0.400	0.297
pdt	0.387	0.119
peh	0.750	0.302
pei	0.000	0.000
pis	0.000	0.000
pli	0.478	0.113
plk	0.222	0.027
ply	0.667	0.345
pnr	0.250	0.147
pnw	0.286	0.107
poi	0.318	0.220
pos	0.000	0.000
pre	0.194	0.038
prg	0.198	0.021
prk	0.833	0.441
pro	0.167	0.021
psi	0.429	0.190
pua	0.204	0.144
puw	0.091	0.091
pwa	0.000	0.000
pwn	0.444	0.207
rad	0.320	0.281
rah	0.146	0.044
rak	0.000	0.000
ram	0.324	0.091
rap	0.167	0.167
rel	0.500	0.181
rgn	0.245	0.102
rhg	0.625	0.442
rif	0.152	0.066
rjs	0.133	0.007
rki	0.206	0.090
rkt	0.111	0.111
rme	0.273	0.090
rmf	0.128	0.061
rmo	0.333	0.129
rmq	0.000	0.000
rmt	0.393	0.094
roh	0.396	0.129
rom	0.200	0.022
rpn	0.400	0.028
rue	0.137	0.005
ruo	0.200	0.078
ruq	0.170	0.009
sac	0.000	0.000
sag	0.000	0.000
scb	0.154	0.011
scl	0.605	0.254
sdh	0.174	0.011
sdn	0.000	0.000
sea	0.077	0.008
see	0.417	0.170
sgs	0.400	0.081
shs	0.833	0.303
shy	0.000	0.000
sjd	0.250	0.004
sje	0.376	0.106
sjt	0.000	0.000
skc	0.167	0.011
skr	0.333	0.023
sma	0.250	0.129
smk	0.000	0.000
smn	0.250	0.056
smo	0.125	0.016
sna	0.250	0.022
som	0.897	0.574
spp	1.000	0.338
squ	0.143	0.039
ssf	0.400	0.060
ssw	0.143	0.143
stp	0.625	0.522
str	0.423	0.143
stw	1.000	0.522
sun	0.800	0.441
suy	0.419	0.092
sva	0.221	0.062
swb	0.138	0.002
swi	0.333	0.333
szl	0.246	0.076
szw	0.143	0.143
taa	0.615	0.191
tae	0.333	0.006
tah	0.000	0.000
taj	0.000	0.000
tat	0.133	0.014
tay	0.000	0.000
taz	1.000	0.034
tbk	0.000	0.000
tet	0.250	0.041
tfr	0.000	0.000
tji	0.571	0.170
tjs	0.455	0.303
tkn	0.316	0.213
tkw	0.000	0.000
tli	0.600	0.228
top	0.474	0.137
tpi	0.040	0.005
tqw	0.429	0.177
trc	0.333	0.333
trp	0.320	0.127
trq	1.000	0.505
tru	0.511	0.352
trw	1.000	0.069
tsd	0.360	0.171
tsi	0.235	0.178
tts	0.000	0.000
tvl	0.000	0.000
txb	0.125	0.004
txu	0.272	0.109
tyj	0.106	0.003
uar	0.250	0.250
ubl	0.200	0.003
uby	0.000	0.000
ude	0.114	0.037
udm	0.000	0.000
ulc	0.197	0.040
umu	0.625	0.203
unr	0.400	0.034
urb	0.167	0.109
urt	0.250	0.250
uur	0.000	0.000
uzb	0.317	0.095
vam	0.250	0.250
vav	0.357	0.038
vls	0.177	0.071
vma	0.258	0.111
vmb	0.000	0.000
vot	1.000	0.017
vro	0.111	0.040
wam	0.357	0.121
war	0.067	0.050
wbl	1.500	0.828
wbp	0.314	0.122
wer	0.067	0.005
wgy	0.400	0.229
whg	0.000	0.000
win	0.500	0.500
wln	0.555	0.259
woe	0.375	0.284
wrg	0.068	0.049
wth	0.091	0.091
wwo	0.000	0.000
wym	0.346	0.097
xaa	0.500	0.293
xal	0.293	0.145
xav	0.684	0.247
xbc	0.535	0.288
xcl	0.000	0.000
xdk	0.294	0.115
xer	0.417	0.032
xfa	0.182	0.053
xib	0.000	0.000
xkz	0.632	0.195
xmf	0.060	0.004
xmz	0.400	0.283
xng	0.750	0.293
xnr	1.500	1.052
xok	0.000	0.000
xpo	0.224	0.198
xra	0.500	0.032
xsm	0.167	0.006
xsr	0.786	0.387
xsy	0.091	0.091
xtm	0.273	0.174
xto	0.667	0.667
yag	0.133	0.067
yai	0.600	0.100
yap	0.667	0.125
ybh	0.333	0.333
yej	0.385	0.385
ykg	0.118	0.057
yly	0.714	0.200
yox	0.667	0.380
yrl	0.429	0.429
ysn	1.000	1.000
yuj	0.250	0.250
yur	0.667	0.060
yuy	0.281	0.072
zag	0.250	0.009
zai	0.175	0.063
zbt	0.286	0.286
zku	0.444	0.280
zoh	0.333	0.011
zor	0.000	0.000
zos	0.300	0.040
zpq	0.444	0.188
ztm	0.333	0.029