Deep Learning19 GPT-2 (2019 - Language Models are Unsupervised Multitask Learners) 논문 링크 - https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf 0. Abstract QA, 기계 번역, 독해, 요약과 같은 NLP의 task는 task에 적합한 데이터셋에 의한 Supervised Learning방식으로 접근해왔습니다. 그러나 본 논문에서는 수백만개의 웹페이지로 구성된 새로운 데이터셋인 WebText를 사용하여 LM이 Supervised Learning 없이도 NLP task를 학습하기 시작함을 증명합니다 LM에서 생성된 답변은 4개중 3개의 성능과 일치하거나 능가하였습니다 LM의 용량은 zero-shot task transfer의 .. 2024. 3. 25. GPT-1 (Improving Language Understanding by Generative Pre-Training) 논문 링크 - https://openai.com/research/language-unsupervised Improving language understanding with unsupervised learning We’ve obtained state-of-the-art results on a suite of diverse language tasks with a scalable, task-agnostic system, which we’re also releasing. Our approach is a combination of two existing ideas: transformers and unsupervised pre-training. These re openai.com 0. Abstract Natural.. 2024. 3. 16. BERT (Pre-training of Deep Bidirectional Transformers for Language Understanding) 논문 링크 - https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from unla arxiv.org 0. Abstra.. 2024. 3. 15. YOLOv8 Custom Dataset 학습 Local 환경에서 YOLOv8 Custom Dataset을 학습시키는 과정을 기록으로 남겨두려고 합니다. 1. Custom Dataset 다운로드 Detection Dataset으로 유명한 Roboflow를 이용하였습니다. Dataset은 Aquarium Dataset을 사용하였습니다. 위의 링크로 접속하여 오른쪽 상단의 Download 버튼을 클릭한 후, YOLOv8 Format을 눌러 다운로드를 진행합니다. Dataset은 train, test, valid 폴더로 이루어져 있고, 각각의 폴더는 images와 labels로 구성되어 있습니다. 이를 진행하고자 하는 프로젝트 폴더에서 datsets이란 폴더를 생성하여 압축을 해제해줍니다. 2. Custom Data를 위한 yaml파일 생성 YOLO모델은.. 2024. 2. 28. Faster R-CNN 지난번에 공부했던 Fast R-CNN은 이전 모델인 R-CNN의 단점들을 극복하였지만, Input image에서 RoI 추출을 진행하는 selective search알고리즘이 cpu단에서 연산을 수행하기에 여전히 연산 수행 속도가 느리다는 단점을 갖고 있습니다. 이 문제를 해결하기 위해 Faster R-CNN이 등장하였습니다. Faster R-CNN에 대해 자세히 알아보기전에 Faster R-CNN과 Fast R-CNN의 차이점 무엇일까요? 그것은 바로 RoI를 추출하는 방법입니다. RoI 추출 이후 과정인 RoI pooling, Fc layer를 거쳐서 수행되는 Classification과 Bounding box Regression은 동일합니다. 그렇다면 Faster R-CNN은 어떤 방법으로 RoI를.. 2023. 11. 24. Fast R-CNN 기존 R-CNN은 학습시간이 오래 걸리고, 이미지 한장을 처리하는데 47초의 추론 시간이 소모되었습니다. 그리고 CNN, SVM, Bounding Box Regressor가 독립적으로 학습을 진행하여 연산이 공유되지도 않는 한계가 존재하였습니다. 이를 위해 기존 R-CNN보다 더 빠른 속도를 갖는 Fast R-CNN이 등장하였습니다. Fast R-CNN도 R-CNN처럼 2-Stage Detector로 Region Proposal과 Classification으로 구성됩니다. 그렇다면 어떤 곳에서 속도의 이점을 가져왔을까요? R-CNN에서는 입력 이미지 1개에서 추출된 2000여개의 RoI를 CNN의 입력으로 넣었지만, Fast R-CNN에서는 입력 이미지 1개를 CNN의 입력으로 넣는것으로 속도의 이점을 .. 2023. 11. 2. R-CNN R-CNN에 대해 말하기 전에 Object Detection의 2가지 구조에 대해 알아보겠습니다. Object Detection은 입력 이미지를 1-stage, 2-stage로 처리하는 구조로 나뉩니다. 2-stage Detector는 입력 이미지에서 이미지가 있을법한 영역(Region)을 제안하는 Region Proposal과 제안된 Region에 어떤 물체가 있을지 Classification을 수행하는 2개의 단계로 나누어 입력 이미지를 처리합니다. 1-stage Detector는 입력 이미지에서 이미지가 있을법한 Region을 찾는 것과 해당 Region에 어떤 물체가 있을지 Classification하는 것을 동시에 처리합니다. 2-stage Detector가 입력 이미지를 2단계로 나누어 이미지.. 2023. 11. 2. Pose Estimation https://viso.ai/deep-learning/pose-estimation-ultimate-overview/ Human Pose Estimation with Deep Learning - Ultimate Overview in 2023 - viso.ai Pose Estimation is a computer vision technique to predict and track the location of a person or object. List of use cases and architectures. viso.ai human pose estimation & tracking 이란? semantic key point들을 검출하고, key point들의 관련성을 찾고, 지속적으로 추적하는 컴퓨터비전 과제 .. 2023. 11. 1. Vision Transformer (2020 - AN IMAGE IS WORTH 16X16 WORDS: TRASNFORMERS FOR IMAGE RECOGNITION AT SCALE) 0. ABSTRACT NLP분야에서 Transformer architecture는 사실상 표준이 되었지만, Vision에 대한 적용은 제한적이었습니다. 그러나 본 논문에서는 CNN에 대한 의존을 전혀 하지 않고, Transformer를 Image Patch Sequence에 직접 적용하는 방식으로 Image classification분야에서 우수한 성능을 발휘하는 것을 보여줄 것입니다. Large Dateset에 pre-training을 수행하고, mid or small Dataset에 transfer learning을 수행할 경우 sota cnn기반 모델들 보다 우수한 성능을 발휘하면서 학습에 필요한 계산량은 현저히 적어집니다. 1. INTRODUCTION Self-attention 기반인 Transf.. 2023. 11. 1. 이전 1 2 3 다음
