關於資料集分數重現差異 #114
Comments
|
我也是，在使用源代码基础上复习Genia数据集得到的F1 为 80.87，与论文中有差异，请问是不是还用了什么trick？ |
|
我有注意到作者說可以調參，也試著調了幾個，如dilation [1,2,3] 改成 [1] 或是 不加 Biaffine 分數都沒有變好，不確定有沒有其他調參的做法，也想問一下 先生是否有找到其他作法 可以增高分數 |
|
我发现源代码使用的应该是biobert，但是使用这个预训练模型效果不如使用pubmedbert |
|
作者還有一篇論文叫 TOE https://arxiv.org/pdf/2211.00684.pdf 不知道對先生有沒有幫助 |
|
谢谢你 |
|
你换成mutibiaffine试试
获取Outlook for Android<https://aka.ms/AAb9ysg>
…________________________________
From: vicaasas ***@***.***>
Sent: Thursday, January 4, 2024 4:13:33 PM
To: ljynlp/W2NER ***@***.***>
Cc: LI ZHE ***@***.***>; Comment ***@***.***>
Subject: Re: [ljynlp/W2NER] P於Y料集分�抵噩F差� (Issue #114)
我有注意到作者f可以{�苍�著{了��，如dilation [1,2,3] 改成 [1] 或是 不加 Biaffine 分�刀�]有�好，不_定有�]有其他{�⒌淖龇ǎ蚕��一下 先生是否有找到其他作法 可以增高分�
―
Reply to this email directly, view it on GitHub<#114 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/A26EABSLOWKNYPPJJALVWP3YMZQC3AVCNFSM6AAAAABASVHUP6VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTQNZWGY4DCNBYHA>.
You are receiving this because you commented.Message ID: ***@***.***>
|
|
mutibiaffine 是? |
|
An Embarrassingly Easy but Strong Baseline for Nested Named Entity Recognition |
|
感謝，先生是加了這個分數就重現了嗎 |
|
不是，这只是我的想法
获取Outlook for Android<https://aka.ms/AAb9ysg>
…________________________________
From: vicaasas ***@***.***>
Sent: Monday, January 8, 2024 3:47:58 PM
To: ljynlp/W2NER ***@***.***>
Cc: LI ZHE ***@***.***>; Comment ***@***.***>
Subject: Re: [ljynlp/W2NER] P於Y料集分�抵噩F差� (Issue #114)
感x，先生是加了@��分�稻椭噩F了�
―
Reply to this email directly, view it on GitHub<#114 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/A26EABTOUWNEY7DPXWKB243YNOQC5AVCNFSM6AAAAABASVHUP6VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTQOBQGUYTKMBUGA>.
You are receiving this because you commented.Message ID: ***@***.***>
|
|
因为我也没能复现出分数
获取Outlook for Android<https://aka.ms/AAb9ysg>
…________________________________
From: vicaasas ***@***.***>
Sent: Monday, January 8, 2024 3:47:58 PM
To: ljynlp/W2NER ***@***.***>
Cc: LI ZHE ***@***.***>; Comment ***@***.***>
Subject: Re: [ljynlp/W2NER] P於Y料集分�抵噩F差� (Issue #114)
感x，先生是加了@��分�稻椭噩F了�
―
Reply to this email directly, view it on GitHub<#114 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/A26EABTOUWNEY7DPXWKB243YNOQC5AVCNFSM6AAAAABASVHUP6VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTQOBQGUYTKMBUGA>.
You are receiving this because you commented.Message ID: ***@***.***>
|
|
先生給的那篇論文，我大致看了一下....，先生會覺得需要重現分數才能投上期刊嗎 |
|
我觉得肯定是，所以我现在很头疼，不然体现不出我们改的东西有增益
获取Outlook for Android<https://aka.ms/AAb9ysg>
…________________________________
From: vicaasas ***@***.***>
Sent: Monday, January 8, 2024 4:07:07 PM
To: ljynlp/W2NER ***@***.***>
Cc: LI ZHE ***@***.***>; Comment ***@***.***>
Subject: Re: [ljynlp/W2NER] P於Y料集分�抵噩F差� (Issue #114)
先生o的那篇�文，我大致看了一下....，先生�X得需要重F分�挡拍芡渡掀诳�
―
Reply to this email directly, view it on GitHub<#114 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/A26EABWTPHP3DLNEIADRJTTYNOSKXAVCNFSM6AAAAABASVHUP6VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTQOBQGUZTINZTGI>.
You are receiving this because you commented.Message ID: ***@***.***>
|
您好，请问您用的pubmedbert是Hugging Face中的哪一个？NeuML的那个吗？还有就是您说的效果提升大概有多大呢？万分感谢！ |
|
我不太记得了，现在好像PubMedbert名字改了，你仔细看一下描述，里面有写的。在我的设备上大概比biobert有1%提升，你也可以试试别的比如scibert之类的 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
您好，謝謝你們對這領域的供獻，
想請問論文所提到的資料集 share13 share14 以及 cadec :
我們在重現各資料集的 report 分數時，在無數的嘗試後都沒辦法重現分數，多數的分數都與 report f1 分數差2%左右
我們也注意到，如果依照論文提及的 dataset github ， 實作後得到的資料句子長度差異有點大，
有可能一個句子兩的字，也有的句子破百字，想請問你們在研究時是否有對資料集做更動
The text was updated successfully, but these errors were encountered: