728x90 LLM17 [논문리뷰] Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization Zhexin Zhang, Junxiao Yang, Pei Ke, Fei Mi, Hongning Wang, and Minlie Huang. 2024. Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 8865–8887, Bangkok, Thailand. Association for Computational Linguistics. https://aclanthology.org/2024... 2024. 12. 24. [논문리뷰] "Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models Shen, X., Chen, Z., Backes, M., Shen, Y., & Zhang, Y. (2023). " do anything now": Characterizing and evaluating in-the-wild jailbreak prompts on large language models. arXiv preprint arXiv:2308.03825.https://arxiv.org/abs/2308.03825 "Do Anything Now": Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language ModelsThe misuse of large language models (LLMs) has drawn significa.. 2024. 12. 23. TopicGPT 사용하기 올해 4월쯤 Topic Modeling 연구를 조금 했었거든요.BERTopic을 대체할게 뭐 없을까 하다가 LLM을 활용해서 Topic Modeling을 하는 논문을 발견했었어요.당시에는 간단한 아이디어인데 나쁘지않네 정도로만 생각했는데,글쎄 NAACL 2024에 등재되었네요..! https://arxiv.org/abs/2311.01449 TopicGPT: A Prompt-based Topic Modeling FrameworkTopic modeling is a well-established technique for exploring text corpora. Conventional topic models (e.g., LDA) represent topics as bags of words that often .. 2024. 11. 21. 2024.11.12~2024.11.14 EMNLP 학회 후기 오늘은 고생고생을 하며 다녀온 2024 EMNLP 학회 썰을 아주 짧게 풀어보려고 합니다.사실 EMNLP가 아니었다면 Virtual로 참석했을 것 같아요.이 놈의 궁금증때문에 체류기간보다 비행기에 더 오래 있었다고 생각하면...! (사실 체류기간이 그래도 더 길긴 합니다ㅎ) EMNLP는 NLP를 공부하시는 분들이라면 모두 아시겠지만 자연어처리 분야에서는 정말 손에 꼽는 좋은 학회라고 개인적으로 생각합니다.저도 여기서 나오는 논문들을 참 많이 읽 아니 읽으려고 노력 중이에요. https://2024.emnlp.org/ GitHub - FreedomIntelligence/FreedomIntelligence.github.io: Website for CUHKSZ NLP group (under constructi.. 2024. 11. 18. Chunking Strategies 오늘은 LLM을 위한 chunking 방법론에 대해서 간단하게 알아보겠습니다.요즘 RAG를 주제로 하는 프로젝트나 논문들이 굉장히 많은데 이 RAG 방식을 취할 때 document를 작은 단위로 나누어 처리하는 것을 chunking이라고 합니다.여기에 여러가지 알고리즘들이 있는데 몇가지 주요 사용되는 알고리즘들을 알아보겠습니다! 우선 chunking이 필요한 이유는 다음과 같습니다.token 길이 제한 문제의 해결 - LLM이 한 번에 처리할 수 있는 토큰의 수에는 제한이 있기 때문에 긴 텍스트를 나누어서 넣어야 모델이 모든 텍스트를 다 다룰 수 있게됩니다.context 유지 - 긴 문서를 chunking을 통해 나누어야 각 문맥에서 중요한 정보들을 잘 유지할 수 있고, 특정 정보에 더 집중할 수 있게 .. 2024. 11. 9. Meta: Adapting Open Source Language Models 이번 블로그 포스트는 논문 리뷰는 아니고, Meta에서 운영하는 블로그 글의 리뷰입니다.LLaMa를 개발한 Meta가 어떻게 Open Source Large Language Models (LLMs)를 활용할 수 있을지,Part1: Methods for adapting large language models,Part2: To fine-tune or not to fine-tune,Part3: How to fine-tune: Focus on effective datasts로 나눠 설명하고 있는데, 이 내용을 좀 간추려보려 해요.논문에 비해서 훨씬 읽기 쉬운 글이니, 처음 LLM 모델을 접할 때 읽으면 좋을 것 같습니다! 먼저 각 part에 대해 요약해서 말하자면, part1에서는 LLM 모델의 활용을 개괄적으.. 2024. 10. 24. 이전 1 2 3 다음 728x90
