Machine-Learning in Github + etc

하기 내용은 teddylee777의 Github을 바탕으로 구성됨.

 

https://github.com/teddylee777/machine-learning

GitHub - teddylee777/machine-learning: 머신러닝 입문자 혹은 스터디를 준비하시는 분들에게 도움이 되고

https://github.com/ml-tooling/best-of-ml-python

GitHub - ml-tooling/best-of-ml-python: 🏆 A ranked list of awesome machine learning Python libraries. Updated weekly.

이것도 도움 많이 될 것 같기도 하고..

 

우선 내가 관심 있는 분야가 무엇인지 생각해보자.

1. Computer Vision

2. NLP

3. Ranking Algorithm System

4. (비슷하지만) Recommendation System

 

굳이 따지자면 NLP보단 CV쪽 좋아하는 듯.

특히 LLM은 안 좋아하는듯.

Reinforcement Learning하고 그래도 LLM 공부도 해보고 싶은데 갈 길이 머네.

 

 

논문 리뷰를 한다면 굵직한 것들 위주로 할 것 같다.

NLP 부분에선 다음과 같이 진행할듯하다.

1. Attention is all you need(2017)
2. BERT: Pre-traning of Deep Bidrectional Tranformers for Language Understanding(2018)
3. GPT(Generative Pre-trained Transformer)(2018)
4. GPT-2: Language Models are Unsupervised Multitask Learners(2019)
5. Transformer-XL: Attentive Language Models with Long-Range Dependencies (Dai et al., 2019)
6. XLNet: Generalized Autoregressive Pretraining for Language Understanding (2019)
7. T3: Exploring the Limits of Transfer Learning with Text-to-Text Transfomer (2020)
8. GPT-3: Language Models are Few-Shot Learners(2020)
9. LaMDA: Language Models for Dialogue Applications (2021)
10. Pathway Language Model: A Novel Neural Architecture for Natural Language Processing (2022)
11. LLaMa: Open and Efficient Foundation Language Models(2023)
12. GPT_4: A Large Multimodal Model for Generating Text, Translating Languages, Writing defferent Kinds of Creative Content, and Answering Your Questions in a Informative Way(2023)
13. PaLM-E: An Embodied Multimodal Language Model (2023)
14. Claude 2: A Large Language Model for the Next Generation of (2023)
15. HyperCLOVAX: A Korean-specific Large Language Model for the Next Generation (2023)

다만, 기존 RNN이나 CNN 기반에 대해서도 다져놓고 가고 싶은데 더 찾아봐야겠다.

 

아마 컴퓨터 비전 쪽에선

1. ImageNet Classification with Deep Convolutional Neural Networks(AlexNet)

2. You Only Look Once: Unified, Real-Time Object Detection

3. Generative Adversarial Networks(GAN)

의 순서로 갈 거 같은데 맞는 지는 잘 모르겠다.

 

고민하지 말고 일단 해보고 생각하자.

꾸준히만 가면 누구든 내가 다 이긴다.