요즘 이런저런 일이 많다보니 놓친 논문리뷰를 다시 해봐야겠죠!오늘은 2024년 8월에 Transactions on Machine Learning Research 저널에 publish된 LoRA Learns Less and Forgets Less 논문에 대해서 리뷰해보려고 해요. 제목에서도 알 수 있듯이 LoRA 방식을 활용하여 학습을 진행할 때의 학습과 망각 성능에 대한 논문이에요.https://arxiv.org/abs/2405.09673 LoRA Learns Less and Forgets LessLow-Rank Adaptation (LoRA) is a widely-used parameter-efficient finetuning method for large language models. LoRA sav..

Korean Paper QA - Retrieval Evaluation한국어 embeddig/retrieval evaluation용 데이터셋을 구축해보았는데요, 국내논문 QA 데이터셋이 있어서 이 데이터를 사용하여 구축하였습니다. (데이터셋 링크) 국내 논문 QA 데이터셋관리자 Text (2023-02-20) http://doi.org/10.23057/49 국내 논문 QA 데이터셋aida.kisti.re.kr기존 국내논문 QA 데이터셋에서 "context", "qas"를 사용하여 구축하였습니다."context": "질의응답문장이 포함된 논문 풀텍스트","qas": [ { "level": "난이도 (0:일반, 1:하, 2:상)", "question": "질의", "..

Luo, W., Ma, S., Liu, X., Guo, X., & Xiao, C. (2024). JailBreakV: A Benchmark for Assessing the Robustness of MultiModal Large Language Models against Jailbreak Attacks. https://arxiv.org/abs/2404.03027 JailBreakV: A Benchmark for Assessing the Robustness of MultiModal Large Language Models against Jailbreak AttacksWith the rapid advancements in Multimodal Large Language Models (MLLMs), securing..

여행 이후.. IT 블로거로 돌아가다보니텃밭은 돌보지를 못했어요. 그렇다고 안 논건 아니에요.꾸준히 놀았어요ㅎㅎ 오늘은 그간의 일상은 조금 담아볼게요. 입사하고 첫 주말!평일에 더이상 못 만나니 주말에 꽉꽉 놀아봤습니다. 12월 21일 토요일 판교 잇타이플러스https://naver.me/F1eNFh0m 네이버 지도잇타이플러스 파미어스몰map.naver.com 판교 파미어스몰에 위치한 태국(?) 음식점이에요.(뭐 이유 없이) 그냥 들어가봤어요.미안합니다. 세세한 리뷰를 남기려고 했는데.. 기억이 가물가물가물치가장 맛있던건 미니 뿌 팟 퐁까리! (지극히 개인적인 제 의견.. 토마토의 의견을 몰라요)  12월 22일 일요일 예술의 전당기억 안나는 날은 빨리 넘기고 바로 다음날~오늘은 토마토의 늦잠 잔 날 (..

Xiaohua Wang, Zhenghua Wang, Xuan Gao, Feiran Zhang, Yixin Wu, Zhibo Xu, Tianyuan Shi, Zhengyuan Wang, Shizheng Li, Qi Qian, Ruicheng Yin, Changze Lv, Xiaoqing Zheng, and Xuanjing Huang. 2024. Searching for best practices in retrieval-augmented generation. In Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, pages 17716-17736, Miami, Florida, USA. Associatio..

Liu, X., Cui, X., Li, P., Li, Z., Huang, H., Xia, S., Zhang, M., Zou, Y., & He, R. (2024). Jailbreak Attacks and Defenses against Multimodal Generative Models: A Survey. https://arxiv.org/abs/2411.09259 Jailbreak Attacks and Defenses against Multimodal Generative Models: A SurveyThe rapid evolution of multimodal foundation models has led to significant advancements in cross-modal understanding a..