Qwen issues with >2K input token size on MTL #10073
Comments
|
I have tried origin fp16 model without quantization or other optimization with this input, it also repeats outputs, so I think it's probably an issue with the model itself. |
|
I encountered the same Native API failed problem when input token size > 2000. |
|
Hi @AmberXu98 Do you encounter this error Also could you provide more information of your settings so that we can better help you detect the issue?
|
|
tried latest qwen 1.5 7b: https://huggingface.co/Qwen/Qwen1.5-7B # -- coding:utf-8 --
import torch
import intel_extension_for_pytorch as ipex
from bigdl.llm.transformers import AutoModelForCausalLM, AutoModel
from transformers import AutoTokenizer
model_path = "<model path>"
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, optimize_model=True,
load_in_4bit=True, cpu_embedding=True).eval()
print("finish to load")
model = model.to('xpu')
print("finish to xpu")
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
prompt = """上古时，女娲娘娘炼石补天，采来三万六千五百零一块顽石，只剩下一块未用，扔在了大荒山青埂峰下。这块顽石经过娘娘锻炼，有了灵性，能变大变小，会自来自去。这天，一个和尚与一个道士来到青埂峰下，见这块石头洁净晶莹，只 有折扇的扇坠般大小。和尚把他托在手上，说：“在你身上刻上几个字，让人们见了就知道你是个宝贝，把你带到繁荣昌盛的国家、读书识礼的豪门望族、花柳繁华富贵温柔的地方走一趟。”石头高兴万分，问：“不知刻什么字？带到哪儿？”和尚笑着说：“你先别问。将来自然明白。”说完，他把石头放在袖中，与道士飘然离去。又不知过了多少万年，有个空空道人路过大荒山无稽崖青埂峰下，见到一块巨石，上面刻着许多字，就从头到尾看了一遍。原来石上刻的是他被茫茫大士携入红尘，投胎人世间的一番经历。上面什么事情都有，只是没有朝代年月，后面还有一首诗：\n无才可去补苍天，枉入红尘若许年。\n此系身前身后事，倩谁记去作奇传?\n空空道人就把石中文字抄下来，定名为《石头记》。他因受了石上故事的影响，就改名为情僧，把《石头记》改为《情僧录》。山东的孔梅溪题为《*》。后来，曹雪芹于悼红轩中，披阅十载，增删五次，编纂成目录，分出章回，又题名为《金陵十二钗》，并题一首绝句：\n满纸荒唐言，一把辛酸泪!\n都云作者痴，谁解其中味?\n那块石头上记录的文字是这样的：\n苏州城的阊门，是人间最繁华风流的地方。阊门外有个十里街，街上有条仁清巷，巷里有座葫芦庙，庙旁住着一家官人，姓甄名费字士隐，娶妻封氏，性情贤淑。家中虽不是多富，在这一带也是第一家。他生性恬淡，不求功名，每天观花种竹、饮酒作诗，倒也神仙般快乐。美中不足的是，老夫妻年近半 百，没有儿子，只一个女儿，名叫英莲，年方三岁。\n盛夏的一天，士隐在书房读书读累了，伏到几案上，矇矇眬眬地来到一个地方，就见来了一个和尚、一个道人。道人问：“你要把这蠢物带到哪里?”和尚说：“如今有一段风流公案还没了结，这些风流冤家还没投 胎。趁此机会，把这石头夹带在里面，让他去经历一番。”道人问：“这些风流冤家不知起于何处?落于何方?”和尚说：“这块石头因女娲娘娘没用他，到各处游玩。这天他来到警幻仙子处，警幻仙子就命他为赤霞宫神瑛侍者。他见西方灵河岸三生石畔有绛珠仙草一株 ，非常可爱，就每天用甘露浇灌，使仙草脱了草木之胎，修成女儿体。仙草为报石头的浇灌之恩，在五脏中结成缠绵不尽的情意，常说：‘我若下世为人，要用一生的眼泪来报答他。’就因为这事，勾引出许多风流冤家都要下凡。我们可把这石头带到警幻仙子那里， 给他挂了号，同这些情鬼下凡，了结此案。”道士说：“果然好笑，我还从未听说还泪报恩的事。你我何不趁此机会也下世度脱几个，岂不是一场功德?”\n甄士隐听到这种稀罕事，忙上前施礼，想打听明白。二仙却笑着说：“这是天机，不可泄露。”士隐一再追问，“蠢物”是什么。和尚递过一块晶莹的美玉，他接过一看，正面刻着“通灵宝玉”四个字，背面还刻着几行小字，正想细看，和尚说：“已到幻境。”就把玉夺回，与道人进入一个石牌坊。牌坊上刻“太虚幻境”，两旁是一副对联：\n假作真时真亦假，无为有处有还无。\n甄士隐想跟进去，刚一抬脚，忽听山崩地裂般一声响，忽然惊醒，原来是梦，梦中的事已忘了一半。他见乳母抱着英莲走来，伸手接过来，抱到门口看热闹。突然，街上过来一个和尚、一个道士，蓬着头，赤着脚，疯疯癫癫地说笑着走过来。和尚见他抱着女儿，就大哭 起来，说：“施主，你抱着这个有命无运的东西干什么?”道士说：“舍给我吧。”士隐不耐烦，转身进门，和尚大笑着念了四句诗：\n惯养娇生笑你痴，菱花空对雪澌澌。\n好防佳节元宵后，便是烟消火灭时。\n士隐心中一动，正想问他们来历，二人已不见了踪影。这时，葫芦庙里寄住的一个穷儒走过来。他姓贾名化，字时飞，别号雨村，湖州人士，出身诗书官宦人家。到他父亲时，家中已经衰败，只剩孤身一人，往京城求取功名，滞留苏州，寄住庙中，靠卖字为生。他施礼笑问：“老先生莫非见了什么新闻?”士隐说：“不是。 刚才小女啼哭，抱她出来玩耍。贾兄来得正好，请到小斋中闲聊，消磨时光。”说着，让家人送女儿进去，与贾雨村来到书房，刚喝口茶，没谈几句话，家人来报：“严老爷来访。”士隐向雨村道了歉，忙去前厅。\n雨村独自无聊，信手翻看了几页书，打听到士隐留客人吃饭，就向小童打个招呼，从后门走了。\n转眼到了中秋节，雨村想到客居他乡，不能施展平生抱负，仰天长叹，高声吟出一联：\n玉在匮中求善价，钗于奁内待时飞。\n士隐在书房备了一席酒，来请雨村，恰巧听到，笑着说：“雨村兄的抱负不凡!”雨村忙说：“ 不敢!不过偶吟前人诗句，承蒙过奖。”士隐说：“今夜是团圆节，尊兄寄宿庙中，难免寂寞，请兄到敝斋小酌。”雨村也不推辞，与士隐同到甄家书房。二人落座，先是细斟慢饮，渐渐谈至兴浓，就换上大杯喝起来。雨村乘着酒兴，说出远大抱负，哀叹只因无钱，不 能进京求功名。士隐当即命小童封五十两银子，取两套棉衣，资助他进京赴试。雨村谢了，二人直饮到三更方散。士隐直睡到日上三竿才醒，想起该给雨村写封书信，到京城也好投个官宦人家权且安身，便让小童去请雨村。小童回来说：“和尚说，贾爷五更已进京去了，留下话让和尚转达对甄爷的敬意。”士隐也就作罢。\n光阴迅速，转眼又是元宵节。晚上，士隐让家人霍启抱英莲去看花灯。霍启要解小便，把英莲放在一家门槛上坐着，回来时不见了小姐，急得寻了半夜，不见影踪，吓得逃往外乡。士隐夫妇忙差人四下寻找，没有一点儿音讯。老夫妻几乎哭死，相继患病，卧床不起。三月十五日，葫芦庙的和尚炸祭神的供品，不小心泼了油锅，引起大火，把一条街烧得火焰山一般。甄家首当其冲，烧成一堆碎砖烂瓦，万幸老夫妇和家人都逃得性命，士隐夫妇就住到乡下田庄上。偏偏这 年闹灾荒，盗贼蜂起，田庄也难安身，士隐只得把田地变卖了，带上两个丫鬟，投奔岳父家去。\n\n他岳父名叫封肃。士隐把银子交给他，托他代买些房产土地。这老儿竟从中克扣许多，只给女婿些薄地破屋。士隐是读书人，不懂庄稼生理，过不上一二年，越来越 穷。封肃就人前人后说他好吃懒做，不会过日子。士隐贫病交加，渐渐不想活了。这天，他拄着拐杖到街上散心，忽见一个跛道人，脚蹬烂草鞋，身穿破道袍，如疯如狂地唱着：\n\n世人都晓神仙好，惟有功名忘不了!\n\n古今将相今何在?荒冢一堆草没了。\n\n世 人都晓神仙好，只有金银忘不了!\n\n终朝只恨聚无多，及到多时眼闭了。\n\n世人都晓神仙好，只有娇妻忘不了!\n\n君生日日说恩情，君死又随人去了。\n\n世人都晓神仙好，只有儿孙忘不了!\n\n痴心父母古来多，孝顺子孙谁见了?\n\n士隐迎上去问：“你说些什么，只听见‘好了，好了’?”道人笑着说：“你能听到‘好了’二字，还算你明白。世上万般事，好就是了，了就是好。要不了，就不好；想要好，就是了。我这歌儿就叫《好了歌》。”士隐已大彻大悟，说：“我把你这《好了歌》注解出来怎样?”道人笑着说：“你就解解 看。”士隐说：\n\n陋室空堂，当年笏满床。衰草枯杨，曾为歌舞场。蛛丝儿结满雕梁，绿纱今又在蓬窗上。说什么脂正浓，粉正香，如何两鬓又成霜?昨日黄土陇头埋白骨，今宵红绡帐底卧鸳鸯。金满箱，银满箱，转眼乞丐人皆谤。正叹他人命不长，哪知自己归来 丧?训有方，保不定日后作强梁。挥膏粱，谁承望流落在烟花巷!因嫌纱帽小，致使锁枷扛。昨怜破袄寒，今嫌紫蟒长。乱哄哄，你方唱罢我登场，反认他乡是故乡。甚荒唐，到头来都是为他人做嫁衣裳。\n\n道人拍掌大笑，说：“解得贴切!”士隐说声“走吧”，也不回家，与道人飘然而去。众街坊把这事当成新闻传说。封氏得知，哭得死去活来，让她父亲派人寻找，却没有音讯。到了这一步，封肃也只好让女儿跟他度日。\n\n这天，甄家的丫鬟在门前买线，只见新任的县官路过。她抬头看去，大轿内的太爷有些面熟，却又想不 起在哪儿见过，就转身进门，也没放在心上。待到晚上睡下，忽听一片打门声响，许多人乱嚷：“本县太爷的差人来传人问话。”封肃吃了一惊，忙开门出来，赔笑问有什么事。那些人只说：“快请甄爷来!”封肃说：“小人姓封，只是小婿姓甄，已出家一二年了。”公差说：“我们也不知什么‘真’‘假’，既是你女婿，你去跟太爷说。”封肃跟公差去了，直到二更才回来，说：“原来新任太爷姓贾名化，跟女婿是旧交。他从门前路过，见娇杏丫头买线，以为女婿也在这里，所以派人来传。我把缘故说明，那太爷叹息一阵，要派人去找英莲，临走还送我二两银子。”\n\n次日一早，雨村派人送来两封银子、四匹锦缎，答谢甄家娘子；又送封肃一封书信，托他向甄家娘子讨娇杏当二房。封肃正想讨好太爷，乐得眉开眼笑，一力撺掇女儿，当夜就用一乘小轿把娇杏送到县衙门。雨村欢喜万分，封了百两银子赏给封肃，又送甄家娘子许多礼物，让她自己过日子。\n\n原来，那年雨村得士隐赠银相助，次日就赶往京城，三篇文章，十分得意，中了进士，当了县太爷。他虽有才干，但依仗才能，怠慢上司，不久被参了一本，革去职务。他把家眷与积蓄送回故乡安顿好 ，就独自出来，游览天下名胜。这天他来到扬州，病倒在客店里，病愈后断了盘缠。幸遇两个旧友，把他荐给盐政林如海，当了林家小姐的老师。\n\n林如海名叫林海，字如海，本是前科的探花，苏州人氏。他祖上也曾为侯，世袭到他父亲，他便由科举出身。他年 已四十，仅正妻贾氏生有一女，乳名黛玉，年方五岁，夫妻俩爱如掌上明珠，所以尽管是女儿，也当成儿子养，请来先生教她读书。黛玉年幼，身体又弱，功课不限多少，所以雨村教起来格外省力。过了一年多，贾氏夫人忽然患病身亡。黛玉侍奉母亲，守礼尽孝， 大病一场。雨村无事，每当天气晴朗，就到外面游玩。这天他来到郊外，见一山环水绕处，有座破落的庙宇，匾额上题“智通寺”，门两旁的对联为：\n\n身后有余忘缩手，眼前无路想回头。\n\n雨村暗想，从这对联上看，庙里的和尚也曾在官场中栽过筋斗。他来到 一家村酒店，想喝上几杯，却有一位酒客站起来，大笑着迎他进来。他认出那人是京城里古董行的贸易冷子兴，在京城时二人非常投机。雨村与他见了礼，要上酒菜，互相说了些客气话，才问：“近来京中有什么新闻?”子兴说：“倒是老先生贵同宗家出了件小小的稀 罕事。”雨村说：“弟族中无人在京。”子兴说：“荣国府不也姓贾?”“原来是他家。若考证起来，我和荣国府还是一支。但他那么荣耀，我们不便去认亲，倒越来越疏远了。”\n\n子兴叹道：“当年宁国公是一母同胞弟兄两个，宁公是老大，生了四个儿子。宁公死后，长子贾代化继承了官爵，他也生了两个儿子，长子贾敷，八九岁上死了，次子贾敬继承了官爵。贾敬一心想成仙，幸亏早年生有一子名贾珍，把官爵让贾珍袭了，只是跟道士们鬼混。贾珍也生有一子，名叫贾蓉，今年才十六岁。因为敬老爷什么事都不管，这贾珍父子 只知玩乐，把宁国府闹得翻了过来。那奇事出在荣府里。荣公死后，长子贾代善袭了官爵，娶的是金陵世家史侯爷小姐为妻，生了两个儿子，长名贾赦，次名贾政。代善早已去世，老太君还健在。贾赦承袭了官爵，也不管家事。贾政自幼酷爱读书，为人端方正直。 皇上因体谅先臣，额外赐政老爷工部主事之职，如今升了员外郎。这政老爷的夫人王氏，头胎生的公子名叫贾珠，十四岁考上秀才，不到二十岁娶了妻，生了一子，一病死了。第二胎生了位小姐，就生在大年初一。不料后来又生了一位公子，说来更奇，一生下来， 嘴里就衔着一块五彩晶莹的玉来，上面还刻下了许多字，你说奇异不奇异?”\n\n雨村笑着说：“果然奇异。只怕是他来历不小。”子兴冷笑着说：“大家都这样说，因此他祖母爱如珍宝。他周岁时，"""
input_ids = tokenizer.encode(prompt, return_tensors="pt").to('xpu')
print(f'input length: {len(input_ids[0])}')
with torch.inference_mode():
for i in range(3):
output = model.generate(input_ids, do_sample=False, num_beams=1, max_new_tokens=512)
output_str = tokenizer.decode(output[0], skip_special_tokens=True)
torch.xpu.synchronize()
print(output_str)it won't generate repeated content, and it won't crash in 2nd round, output may be: to use qwen 1.5, you must update to latest bigdl-llm and transformers 4.37 for more details about running qwen 1.5, see this example |
Native API failed -999 or -5 means out of memory in most cases, we are still optimizing memory usage. The prompt in above code has 3770 tokens, it can run successfully on an Ultra 5 125H machine with 32GB DRAM, its igpu will use half total memory as gpu memory, which is 16GB. So if you are using an igpu with 32GB total memory or an Arc dgpu with 16GB gpu memory, then you should also be able to run 3770 input tokens successfully. |
Platform: Windows OS, MTL-U, Memory 32G, CPU: 14-core,Genuine Intel® 0000, iGPU: 16G,Intel® Arc™ Graphics Prompt: 请为以下文字润色，期望辞藻更加华丽。 多模态大模型在各个领域都有广泛的应用，主要包括： 视觉问答（Visual Question Answering）：给定一张图像和一个问题，多模态大模型可以生成一个答案，这个答案可以是关于图像中某 个对象的详细描述，也可以是对图像中某个事件的解释等。这种应用需要模型能够理解和生成自然语言文本，同时还需要能够从图像中提取有用的信息。 Traceback (most recent call last): |
|
Hi @AmberXu98 We are reproducing with your prompt again to double confirm it in our environment. By the way, want to confirm is it the case that if you input shorter sequences it works, but it fails on the prompt above right? |
Yes, shorter inputs works, but longer inputs like the above one fails. |
Have you set |
Yes, here is the code I used: |
|
I can run Qwen-7B-Chat for a few consecutive times without crashes. Slightly modified AmberXu98's code to print query and response. Platform: MTL Core Ultra 5 125H, 32GB RAM, bigdl-llm==20240124 Output: |
|
@hkvision @chtanch I encounter My platform: Windows OS, MTL-U, Memory 32G, CPU: 14-core,Genuine Intel® 0000, iGPU: 16G,Intel® Arc™ Graphics |
|
@AmberXu98 to clarify, are you using Qwen-7b-chat-int4? Or the non-quantized models? Eg, Qwen-7b or Qwen-7b-chat? |
@chtanch non-quantized model Qwen-7B-Chat and load_in_4bit like this: |
I can sucessfully run the code you shared, with prompt lengths up up to 4160 tokens on 32GB RAM MTL machine.
Is your test successful the first time and only fails when the command is run the second time? |
Qwen model FP32-INT4 precsion inference, input token size 2500
there are 2 issues found
Platform: MTL Core Ultra U7, windows OS， bigdl 20240124
$llmsd_env\python.exe benchmark.py -m ./models/Qwen-7B-Chat-int4 --input-prompt ./models/prompt/4096xft.txt -i 2500 -o 512
C:\Program Files\AIGC Assistant\resources\audiollm\llmsd_env\lib\site-packages\torchvision\io\image.py:13: UserWarning: Failed to load image Python extension: ''If you don't plan on using image functionality from
torchvision.io, you can ignore this warning. Otherwise, there might be something wrong with your environment. Did you havelibjpegorlibpnginstalled before buildingtorchvisionfrom source?warn(
Origin input prompt is: 上古时，女娲娘娘炼石补天，采来三万六千五百零一块顽石，只剩下一块未用，扔在了大荒山青埂峰下。这块顽石经过娘娘锻炼，有了灵性，能变大变小，会自来自去。这天，一个和尚与一个道士来到青埂峰下，见这块石头洁净晶莹，只 有折扇的扇坠般大小。和尚把他托在手上，说：“在你身上刻上几个字，让人们见了就知道你是个宝贝，把你带到繁荣昌盛的国家、读书识礼的豪门望族、花柳繁华富贵温柔的地方走一趟。”石头高兴万分，问：“不知刻什么字？带到哪儿？”和尚笑着说：“你先别问。将来自然明白。”说完，他把石头放在袖中，与道士飘然离去。又不知过了多少万年，有个空空道人路过大荒山无稽崖青埂峰下，见到一块巨石，上面刻着许多字，就从头到尾看了一遍。原来石上刻的是他被茫茫大士携入红尘，投胎人世间的一番经历。上面什么事情都有，只是没有朝代年月，后面还有一首诗：\n无才可去补苍天，枉入红尘若许年。\n此系身前身后事，倩谁记去作奇传?\n空空道人就把石中文字抄下来，定名为《石头记》。他因受了石上故事的影响，就改名为情僧，把《石头记》改为《情僧录》。山东的孔梅溪题为《*》。后来，曹雪芹于悼红轩中，披阅十载，增删五次，编纂成目录，分出章回，又题名为《金陵十二钗》，并题一首绝句：\n满纸荒唐言，一把辛酸泪!\n都云作者痴，谁解其中味?\n那块石头上记录的文字是这样的：\n苏州城的阊门，是人间最繁华风流的地方。阊门外有个十里街，街上有条仁清巷，巷里有座葫芦庙，庙旁住着一家官人，姓甄名费字士隐，娶妻封氏，性情贤淑。家中虽不是多富，在这一带也是第一家。他生性恬淡，不求功名，每天观花种竹、饮酒作诗，倒也神仙般快乐。美中不足的是，老夫妻年近半 百，没有儿子，只一个女儿，名叫英莲，年方三岁。\n盛夏的一天，士隐在书房读书读累了，伏到几案上，矇矇眬眬地来到一个地方，就见来了一个和尚、一个道人。道人问：“你要把这蠢物带到哪里?”和尚说：“如今有一段风流公案还没了结，这些风流冤家还没投 胎。趁此机会，把这石头夹带在里面，让他去经历一番。”道人问：“这些风流冤家不知起于何处?落于何方?”和尚说：“这块石头因女娲娘娘没用他，到各处游玩。这天他来到警幻仙子处，警幻仙子就命他为赤霞宫神瑛侍者。他见西方灵河岸三生石畔有绛珠仙草一株 ，非常可爱，就每天用甘露浇灌，使仙草脱了草木之胎，修成女儿体。仙草为报石头的浇灌之恩，在五脏中结成缠绵不尽的情意，常说：‘我若下世为人，要用一生的眼泪来报答他。’就因为这事，勾引出许多风流冤家都要下凡。我们可把这石头带到警幻仙子那里， 给他挂了号，同这些情鬼下凡，了结此案。”道士说：“果然好笑，我还从未听说还泪报恩的事。你我何不趁此机会也下世度脱几个，岂不是一场功德?”\n甄士隐听到这种稀罕事，忙上前施礼，想打听明白。二仙却笑着说：“这是天机，不可泄露。”士隐一再追问，“蠢物”是什么。和尚递过一块晶莹的美玉，他接过一看，正面刻着“通灵宝玉”四个字，背面还刻着几行小字，正想细看，和尚说：“已到幻境。”就把玉夺回，与道人进入一个石牌坊。牌坊上刻“太虚幻境”，两旁是一副对联：\n假作真时真亦假，无为有处有还无。\n甄士隐想跟进去，刚一抬脚，忽听山崩地裂般一声响，忽然惊醒，原来是梦，梦中的事已忘了一半。他见乳母抱着英莲走来，伸手接过来，抱到门口看热闹。突然，街上过来一个和尚、一个道士，蓬着头，赤着脚，疯疯癫癫地说笑着走过来。和尚见他抱着女儿，就大哭 起来，说：“施主，你抱着这个有命无运的东西干什么?”道士说：“舍给我吧。”士隐不耐烦，转身进门，和尚大笑着念了四句诗：\n惯养娇生笑你痴，菱花空对雪澌澌。\n好防佳节元宵后，便是烟消火灭时。\n士隐心中一动，正想问他们来历，二人已不见了踪影。这时，葫芦庙里寄住的一个穷儒走过来。他姓贾名化，字时飞，别号雨村，湖州人士，出身诗书官宦人家。到他父亲时，家中已经衰败，只剩孤身一人，往京城求取功名，滞留苏州，寄住庙中，靠卖字为生。他施礼笑问：“老先生莫非见了什么新闻?”士隐说：“不是。 刚才小女啼哭，抱她出来玩耍。贾兄来得正好，请到小斋中闲聊，消磨时光。”说着，让家人送女儿进去，与贾雨村来到书房，刚喝口茶，没谈几句话，家人来报：“严老爷来访。”士隐向雨村道了歉，忙去前厅。\n雨村独自无聊，信手翻看了几页书，打听到士隐留客人吃饭，就向小童打个招呼，从后门走了。\n转眼到了中秋节，雨村想到客居他乡，不能施展平生抱负，仰天长叹，高声吟出一联：\n玉在匮中求善价，钗于奁内待时飞。\n士隐在书房备了一席酒，来请雨村，恰巧听到，笑着说：“雨村兄的抱负不凡!”雨村忙说：“ 不敢!不过偶吟前人诗句，承蒙过奖。”士隐说：“今夜是团圆节，尊兄寄宿庙中，难免寂寞，请兄到敝斋小酌。”雨村也不推辞，与士隐同到甄家书房。二人落座，先是细斟慢饮，渐渐谈至兴浓，就换上大杯喝起来。雨村乘着酒兴，说出远大抱负，哀叹只因无钱，不 能进京求功名。士隐当即命小童封五十两银子，取两套棉衣，资助他进京赴试。雨村谢了，二人直饮到三更方散。士隐直睡到日上三竿才醒，想起该给雨村写封书信，到京城也好投个官宦人家权且安身，便让小童去请雨村。小童回来说：“和尚说，贾爷五更已进京去了，留下话让和尚转达对甄爷的敬意。”士隐也就作罢。\n光阴迅速，转眼又是元宵节。晚上，士隐让家人霍启抱英莲去看花灯。霍启要解小便，把英莲放在一家门槛上坐着，回来时不见了小姐，急得寻了半夜，不见影踪，吓得逃往外乡。士隐夫妇忙差人四下寻找，没有一点儿音讯。老夫妻几乎哭死，相继患病，卧床不起。三月十五日，葫芦庙的和尚炸祭神的供品，不小心泼了油锅，引起大火，把一条街烧得火焰山一般。甄家首当其冲，烧成一堆碎砖烂瓦，万幸老夫妇和家人都逃得性命，士隐夫妇就住到乡下田庄上。偏偏这 年闹灾荒，盗贼蜂起，田庄也难安身，士隐只得把田地变卖了，带上两个丫鬟，投奔岳父家去。\n\n他岳父名叫封肃。士隐把银子交给他，托他代买些房产土地。这老儿竟从中克扣许多，只给女婿些薄地破屋。士隐是读书人，不懂庄稼生理，过不上一二年，越来越 穷。封肃就人前人后说他好吃懒做，不会过日子。士隐贫病交加，渐渐不想活了。这天，他拄着拐杖到街上散心，忽见一个跛道人，脚蹬烂草鞋，身穿破道袍，如疯如狂地唱着：\n\n世人都晓神仙好，惟有功名忘不了!\n\n古今将相今何在?荒冢一堆草没了。\n\n世 人都晓神仙好，只有金银忘不了!\n\n终朝只恨聚无多，及到多时眼闭了。\n\n世人都晓神仙好，只有娇妻忘不了!\n\n君生日日说恩情，君死又随人去了。\n\n世人都晓神仙好，只有儿孙忘不了!\n\n痴心父母古来多，孝顺子孙谁见了?\n\n士隐迎上去问：“你说些什么，只听见‘好了，好了’?”道人笑着说：“你能听到‘好了’二字，还算你明白。世上万般事，好就是了，了就是好。要不了，就不好；想要好，就是了。我这歌儿就叫《好了歌》。”士隐已大彻大悟，说：“我把你这《好了歌》注解出来怎样?”道人笑着说：“你就解解 看。”士隐说：\n\n陋室空堂，当年笏满床。衰草枯杨，曾为歌舞场。蛛丝儿结满雕梁，绿纱今又在蓬窗上。说什么脂正浓，粉正香，如何两鬓又成霜?昨日黄土陇头埋白骨，今宵红绡帐底卧鸳鸯。金满箱，银满箱，转眼乞丐人皆谤。正叹他人命不长，哪知自己归来 丧?训有方，保不定日后作强梁。挥膏粱，谁承望流落在烟花巷!因嫌纱帽小，致使锁枷扛。昨怜破袄寒，今嫌紫蟒长。乱哄哄，你方唱罢我登场，反认他乡是故乡。甚荒唐，到头来都是为他人做嫁衣裳。\n\n道人拍掌大笑，说：“解得贴切!”士隐说声“走吧”，也不回家，与道人飘然而去。众街坊把这事当成新闻传说。封氏得知，哭得死去活来，让她父亲派人寻找，却没有音讯。到了这一步，封肃也只好让女儿跟他度日。\n\n这天，甄家的丫鬟在门前买线，只见新任的县官路过。她抬头看去，大轿内的太爷有些面熟，却又想不 起在哪儿见过，就转身进门，也没放在心上。待到晚上睡下，忽听一片打门声响，许多人乱嚷：“本县太爷的差人来传人问话。”封肃吃了一惊，忙开门出来，赔笑问有什么事。那些人只说：“快请甄爷来!”封肃说：“小人姓封，只是小婿姓甄，已出家一二年了。”公差说：“我们也不知什么‘真’‘假’，既是你女婿，你去跟太爷说。”封肃跟公差去了，直到二更才回来，说：“原来新任太爷姓贾名化，跟女婿是旧交。他从门前路过，见娇杏丫头买线，以为女婿也在这里，所以派人来传。我把缘故说明，那太爷叹息一阵，要派人去找英莲，临走还送我二两银子。”\n\n次日一早，雨村派人送来两封银子、四匹锦缎，答谢甄家娘子；又送封肃一封书信，托他向甄家娘子讨娇杏当二房。封肃正想讨好太爷，乐得眉开眼笑，一力撺掇女儿，当夜就用一乘小轿把娇杏送到县衙门。雨村欢喜万分，封了百两银子赏给封肃，又送甄家娘子许多礼物，让她自己过日子。\n\n原来，那年雨村得士隐赠银相助，次日就赶往京城，三篇文章，十分得意，中了进士，当了县太爷。他虽有才干，但依仗才能，怠慢上司，不久被参了一本，革去职务。他把家眷与积蓄送回故乡安顿好 ，就独自出来，游览天下名胜。这天他来到扬州，病倒在客店里，病愈后断了盘缠。幸遇两个旧友，把他荐给盐政林如海，当了林家小姐的老师。\n\n林如海名叫林海，字如海，本是前科的探花，苏州人氏。他祖上也曾为侯，世袭到他父亲，他便由科举出身。他年 已四十，仅正妻贾氏生有一女，乳名黛玉，年方五岁，夫妻俩爱如掌上明珠，所以尽管是女儿，也当成儿子养，请来先生教她读书。黛玉年幼，身体又弱，功课不限多少，所以雨村教起来格外省力。过了一年多，贾氏夫人忽然患病身亡。黛玉侍奉母亲，守礼尽孝， 大病一场。雨村无事，每当天气晴朗，就到外面游玩。这天他来到郊外，见一山环水绕处，有座破落的庙宇，匾额上题“智通寺”，门两旁的对联为：\n\n身后有余忘缩手，眼前无路想回头。\n\n雨村暗想，从这对联上看，庙里的和尚也曾在官场中栽过筋斗。他来到 一家村酒店，想喝上几杯，却有一位酒客站起来，大笑着迎他进来。他认出那人是京城里古董行的贸易冷子兴，在京城时二人非常投机。雨村与他见了礼，要上酒菜，互相说了些客气话，才问：“近来京中有什么新闻?”子兴说：“倒是老先生贵同宗家出了件小小的稀 罕事。”雨村说：“弟族中无人在京。”子兴说：“荣国府不也姓贾?”“原来是他家。若考证起来，我和荣国府还是一支。但他那么荣耀，我们不便去认亲，倒越来越疏远了。”\n\n子兴叹道：“当年宁国公是一母同胞弟兄两个，宁公是老大，生了四个儿子。宁公死后，长子贾代化继承了官爵，他也生了两个儿子，长子贾敷，八九岁上死了，次子贾敬继承了官爵。贾敬一心想成仙，幸亏早年生有一子名贾珍，把官爵让贾珍袭了，只是跟道士们鬼混。贾珍也生有一子，名叫贾蓉，今年才十六岁。因为敬老爷什么事都不管，这贾珍父子 只知玩乐，把宁国府闹得翻了过来。那奇事出在荣府里。荣公死后，长子贾代善袭了官爵，娶的是金陵世家史侯爷小姐为妻，生了两个儿子，长名贾赦，次名贾政。代善早已去世，老太君还健在。贾赦承袭了官爵，也不管家事。贾政自幼酷爱读书，为人端方正直。 皇上因体谅先臣，额外赐政老爷工部主事之职，如今升了员外郎。这政老爷的夫人王氏，头胎生的公子名叫贾珠，十四岁考上秀才，不到二十岁娶了妻，生了一子，一病死了。第二胎生了位小姐，就生在大年初一。不料后来又生了一位公子，说来更奇，一生下来， 嘴里就衔着一块五彩晶莹的玉来，上面还刻下了许多字，你说奇异不奇异?”\n\n雨村笑着说：“果然奇异。只怕是他来历不小。”子兴冷笑着说：“大家都这样说，因此他祖母爱如珍宝。他周岁时，
2024-02-01 19:28:04,717 - bigdl.llm.transformers.utils - INFO - Converting the current model to sym_int4 format......
finish to load
finish to xpu
Using pad_token, but it is not set yet.
Round 1 output: 道人一同离了苏州，不知所往。甄士隐回到乡下，不久就病死了。甄家从此一蹶不振，家道中落。甄英莲被拐卖到冯渊家，冯渊爱她如宝，收她为妾。冯渊被薛蟠打死，英莲落入薛蟠手中。薛蟠把她送给薛姨妈做丫鬟，取名香菱。香菱聪明伶俐， 学诗学画，深得薛姨妈喜爱。甄士隐的女儿英莲，就是香菱。甄士隐的夫人封氏，就是薛姨妈。甄士隐的岳父封肃，就是薛蟠的父亲。甄士隐的仆人霍启，就是霍启。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐 的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士 。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和 尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士 ，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的邻居和尚和道士，就是和尚和道士。甄士隐的
Round 1 token count input: 2500
Round 1 token count output: 512
Round 1 time cost(s): 80.25508856773376
Round 1 First token latency(ms): 19303.25746536255
Round 1 After token latency(ms/token): 119.27951291815738
GPU 12314.0
Using pad_token, but it is not set yet.
Exception in thread Thread-2 (generate):
Traceback (most recent call last):
File "C:\Program Files\AIGC Assistant\resources\audiollm\llmsd_env\lib\threading.py", line 1016, in _bootstrap_inner
self.run()
File "C:\Program Files\AIGC Assistant\resources\audiollm\llmsd_env\lib\threading.py", line 953, in run
self._target(*self._args, **self._kwargs)
File "C:\Users\SEAVO/.cache\huggingface\modules\transformers_modules\Qwen-7B-Chat-int4\modeling_qwen.py", line 1263, in generate
return super().generate(
File "C:\Program Files\AIGC Assistant\resources\audiollm\llmsd_env\lib\site-packages\torch\utils_contextlib.py", line 115, in decorate_context
return func(*args, **kwargs)
File "C:\Program Files\AIGC Assistant\resources\audiollm\llmsd_env\lib\site-packages\transformers\generation\utils.py", line 1538, in generate
return self.greedy_search(
File "C:\Program Files\AIGC Assistant\resources\audiollm\llmsd_env\lib\site-packages\transformers\generation\utils.py", line 2405, in greedy_search
input_ids = torch.cat([input_ids, next_tokens[:, None]], dim=-1)
RuntimeError: Native API failed. Native API returns: -999 (Unknown PI error) -999 (Unknown PI error)
The text was updated successfully, but these errors were encountered: