[编辑]
第 262 卷：NeurIPS 效率自然语言与语音处理研讨会，2024 年 12 月 14 日，加拿大不列颠哥伦比亚省温哥华
[编辑]
编辑：Mehdi Rezagholizadeh、Peyman Passban、Soheila Samiee、Vahid Partovi Nia、Yu Cheng、Yue Deng、Qun Liu、Boxing Chen
[bib][citeproc]
训练
使用小模型初始化加速大型语言模型预训练
Mohammad Samragh、Seyed Iman Mirzadeh、Keivan Alizadeh-Vahid、Fartash Faghri、Minsik Cho、Moin Nabi、Devang Naik、Mehrdad Farajtabar；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:1-13
[摘要][下载 PDF]
小规模大型语言模型训练的计算瓶颈
Saleh Ashkboos、Seyed Iman Mirzadeh、Keivan Alizadeh-Vahid、Mohammad Hossein Sekhavat、Moin Nabi、Mehrdad Farajtabar、Fartash Faghri；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:14-21
[摘要][下载 PDF]
QuAILoRA：用于 LoRA 的量化感知初始化
Neal G Lawton、Aishwarya Padmakumar、Judith Gaspers、Jack FitzGerald、Anoop Kumar、Greg Ver Steeg、Aram Galstyan；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:22-33
[摘要][下载 PDF]
SuperPos-Prompt：利用多token嵌入的叠加增强语言模型的软提示调整
Mohammad Ali Sadraei Javaheri、Ehsaneddin Asgari、Alice C. McHardy、Hamid R. Rabiee；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:34-46
[摘要][下载 PDF]
RGP：通过随机梯度投影实现内存高效的模型微调
Ali Saheb Pasand、Pouya Bashivan；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:47-54
[摘要][下载 PDF]
通过数据采样实现大型语言模型的有效对齐
Amrit Khera、Rajat Ghosh、Debojyoti Dutta；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:55-72
[摘要][下载 PDF]
KD-LoRA：结合 LoRA 和知识蒸馏的有效微调混合方法
Rambod Azimi、Rishav Rishav、Marek Teichmann、Samira Ebrahimi Kahou；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:73-80
[摘要][下载 PDF]
模型设计与架构
密集反向传播改进了稀疏门控混合专家路由
Ashwinee Panda、Vatsal Baherwani、Zain Sarwar、Benjamin Therien、Sambit Sahu、Stephen Rawls、Supriyo Chakraborty、Tom Goldstein；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:81-101
[摘要][下载 PDF]
VL-Mamba：探索用于多模态学习的状态空间模型
Yanyuan Qiao、Zheng Yu、Zijia Zhao、Sihan Chen、Mingzhen Sun、Longteng Guo、Qi Wu、Jing Liu；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:102-113
[摘要][下载 PDF]
MisD-MoE：具有自适应特征选择的多模态错误信息检测框架
Moyang Liu、Kaiying Yan、Yukun Liu、Ruibo Fu、Zhengqi Wen、Xuefei Liu、Chenxing Li；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:114-122
[摘要][下载 PDF]
Zipper：一种用于融合模态的多塔解码器架构
Vicky Zayats、Peter Chen、Melissa Ferrari、Dirk Padfield；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:123-135
[摘要][下载 PDF]
视频分析是否真的需要使用 5D 张量的 3D 卷积？
Habib Hajimolahoseini、Walid Ahmed、Shuangyue Wen、Yang Liu；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:136-144
[摘要][下载 PDF]
软混合专家中的隐式偏差：超越参数数量
Youngseog Chung、Dhruv Malik、Jeff Schneider、Yuanzhi Li、Aarti Singh；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:145-164
[摘要][下载 PDF]
通过任务特定专家剪枝重新审视 SMoE 语言模型中的效率低下
Soumajyoti Sarkar、Leonard Lausen、Volkan Cevher、Thomas Brox、Sheng Zha、George Karypis；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:165-181
[摘要][下载 PDF]
StructMoE：使用低秩专家的结构化混合专家
Zain Sarwar、Ashwinee Panda、Benjamin Thérien、Stephen Rawls、Anirban Das、Kartik Balasubramaniam、Berkcan Kapusuzoglu、Shixiong Zhang、Sambit Sahu、Milind Naphade、Supriyo Chakraborty；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:182-193
[摘要][下载 PDF]
稀疏升级：推理效率低下的微调
Sasha Doubov、Nikhil Sardana、Vitaliy Chiley；第四届 NeurIPS 效率自然语言与语音处理研讨会论文集，PMLR 262:194-205
[摘要][下载 PDF]
模型效率与压缩
后训练统计校准以提高激活稀疏性
Vui Seng Chua, Yujie Pan, Nilesh Jain; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:206-221
[abs][下载 PDF]
加速低秩分解模型
Habib Hajimolahoseini, Walid Ahmed, Shuangyue Wen, Yang Liu; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:222-231
[abs][下载 PDF]
捷足先登：启发式加速 EarlyBird 收敛
Adithya G Vasudev; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:232-240
[abs][下载 PDF]
具有微缩格式的大语言模型后训练量化
Sayeh Sharify, Utkarsh Saxena, Zifei Xu, Wanzin Yazar, Ilya Soloveychik, Xin Wang; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:241-258
[abs][下载 PDF]
EchoAtt：用于更高效的大语言模型的 Attend、Copy、然后调整
Hossein Rajabzadeh, Aref Jafari, Aman Sharma, Benyamin Jami, Hyock Ju Hj Kwon, Ali Ghodsi, Boxing Chen, Mehdi Rezagholizadeh; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:259-269
[abs][下载 PDF]
后训练量化大语言模型的缩放规律
Zifei Xu, Alexander Y Lan, Wanzin Yazar, Tristan Webb, Sayeh Sharify, Xin Wang; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:270-285
[abs][下载 PDF]
用于轻量级语言模型的局部共享查询-键
Kai Yang, Vahid Partovi Nia, Boxing Chen, Masoud Asgharian; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:286-291
[abs][下载 PDF]
推理
蛇梯：利用推测解码加速 SSM 推理
Yangchao Wu, Yonatan Dukler, Matthew Trager, Alessandro Achille, Wei Xia, Stefano Soatto; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:292-304
[abs][下载 PDF]
GEAR：用于 LLM 推理中 KV 缓存压缩的有效错误减少框架
Hao Kang, Qingru Zhang, Souvik Kundu, Geonhwa Jeong, Zaoxing Liu, Tushar Krishna, Tuo Zhao; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:305-321
[abs][下载 PDF]
N-Grammys：利用无学习批量推测加速自回归推理
Lawrence Stewart, Matthew Trager, Sujan Gonugondla, Stefano Soatto; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:322-335
[abs][下载 PDF]
分布式推测推理的大语言模型在理论上更快
Nadav Timor, Jonathan Mamou, Oren Pereg, Moshe Berchansky, Daniel Korat, Moshe Wasserblat, Tomer Galanti, Michal Gordon, David Harel; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:336-354
[abs][下载 PDF]
AdaEDL：基于熵的令牌接受概率下界的大语言模型推测解码的早期草稿停止
Sudhanshu Agrawal, Wonseok Jeon, Mingu Lee; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:355-369
[abs][下载 PDF]
具有 MixAttention 的推理友好模型
Shashank Rajput, Ying Sheng, Sean Owen, Vitaliy Chiley; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:370-381
[abs][下载 PDF]
改进多候选推测解码
XiaoFan Lu, Yixiao Zeng, Marco Levorato, FeiYang Ma, ZiXu Yu; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:382-394
[abs][下载 PDF]
推测流式传输：无需辅助模型即可进行快速 LLM 推理
Nikhil Bhendawade, Irina Belousova, Qichen Fu, Henry Mason, Mohammad Rastegari, Mahyar Najibi; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:395-413
[abs][下载 PDF]
用于高效推理的滞后激活函数
Moshe Kimhi, Idan Kashani, Chaim Baskin, Avi Mendelson; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:414-422
[abs][下载 PDF]
高效调度 Flash Attention 用于部分填充的注意力掩码
Agniv Sharma, Jonas A. Geiping; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:423-442
[abs][下载 PDF]
Duo-LLM：用于研究大语言模型自适应计算的框架
Keivan Alizadeh-Vahid, Seyed Iman Mirzadeh, Hooman Shahrkokhi, Dmitry Belenko, Frank Sun, Minsik Cho, Mohammad Hossein Sekhavat, Moin Nabi, Mehrdad Farajtabar; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:443-455
[abs][下载 PDF]
动态推测前瞻加速大语言模型的推测解码
Jonathan Mamou, Oren Pereg, Daniel Korat, Moshe Berchansky, Nadav Timor, Moshe Wasserblat, Roy Schwartz; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:456-467
[abs][下载 PDF]
CSKV：训练高效的通道收缩，用于长上下文场景中的 KV 缓存
Luning Wang, Shiyao Li, Xuefei Ning, Zhihang Yuan, Shengen Yan, Guohao Dai, Yu Wang; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:468-484
[abs][下载 PDF]
用于大语言模型 KV 缓存压缩的残差向量量化
Ankur Kumar; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:485-490
[abs][下载 PDF]
基准与评估
使用不同语言和质量级别重释自然文本数据，用于大语言模型预训练
Michael Pieler, Marco Bellagente, Hannah Teufel, Duy Phung, Nathan Cooper, Jonathan Tow, Paulo Rocha, Reshinth Adithyan, Zaid Alyafeai, Nikhil Pinnaparaju, Maksym Zhuravinskyi, Carlos Riquelme; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:491-511
[abs][下载 PDF]
ChemTEB：化学文本嵌入基准，对特定领域嵌入模型的性能和效率的概述
Ali Shiraee Kasmaee, Mohammad Khodadad, Mohammad Arshi Saloot, Nick Sherck, Stephen Dokas, Hamidreza Mahyar, Soheila Samiee; 第四届 NeurIPS 效率自然语言与语音处理研讨会论文集, PMLR 262:512-531
[摘要][下载 PDF]
基于 NLP 启发方法的表格深度学习效率研究
Anton F Thielmann, Soheila Samiee; 第四届 NeurIPS 效率自然语言和语音处理研讨会论文集, PMLR 262:532-539
[摘要][下载 PDF]
应用
使用图注意力网络的文本摘要
Mohammadreza Ardestani, Yllias Chali; 第四届 NeurIPS 效率自然语言和语音处理研讨会论文集, PMLR 262:540-553
[摘要][下载 PDF]
足够了：将预训练的视觉 Transformer 适配到视听说话人验证
Gnana Praveen Rajasekhar, Jahangir Alam; 第四届 NeurIPS 效率自然语言和语音处理研讨会论文集, PMLR 262:554-563
[摘要][下载 PDF]
通过早期自适应滤波增强标签噪声鲁棒性，用于自监督说话人验证任务
Abderrahim Fathan, Xiaolin Zhu, Jahangir Alam; 第四届 NeurIPS 效率自然语言和语音处理研讨会论文集, PMLR 262:564-575
[摘要][下载 PDF]
Mai Ho‘omāuna i ka ‘Ai: 语言模型改进夏威夷语自动语音识别
Kaavya D Chaparala, Guido Zarrella, Bruce Torres Fischer, Larry Kimura, Oiwi Parker Jones; 第四届 NeurIPS 效率自然语言和语音处理研讨会论文集, PMLR 262:576-583
[摘要][下载 PDF]
使用逐层自适应量化进行语音情感识别的轻量级神经网络
Tushar Shinde, Ritika Jain, Avinash Kumar Sharma; 第四届 NeurIPS 效率自然语言和语音处理研讨会论文集, PMLR 262:584-595
[摘要][下载 PDF]
OnlySportsLM: 在十亿参数下优化体育领域语言模型，达到 SOTA 性能
Zexin Chen, Chengxi Li, Xiangyu Xie, Parijat Dube; 第四届 NeurIPS 效率自然语言和语音处理研讨会论文集, PMLR 262:596-610
[摘要][下载 PDF]
![[NeurIPS 效率自然语言与语音处理研讨会 Logo]](/v262/assets/images/logo-pmlr.svg){kind=logo}