Top AI Repos — open-source AI, indexed and scored
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Top AI Repos tracks AI repositories on GitHub and answers two different questions about each one: is it moving right now, and would you bet a product on it.
Pretrained Language Models for Korean
| Date | Stars |
|---|---|
| 2026-07-31 | 394 |
| 2026-08-02 | 394 |
| 2026-08-06 | 394 |
Today
— stars today
This week
— stars this week
This month
— stars this month
Momentum
0.0
growth rate 0.00%/day
# Pretrained Language Models For Korean * 최고의 성능을 내는 언어 모델들이 세계 각지에서 개발되고 있지만 대부분 영어만을 다루고 있습니다. 한국어 자연어 처리 연구를 시작하시는데 도움이 되고자 한국어로 학습된 최신 언어모델들을 공개합니다. * Transformers 라이브러리를 통해 사용가능하도록 만들었으며 encoder 기반(BERT 등), decoder 기반(GPT3), encoder-decoder(T5, BERTSHARED) 모델을 모두 제공하고 있습니다. * 뉴스와 같이 잘 정제된 언어 뿐만 아니라, 실제 인터넷 상에서 쓰이는 신조어, 줄임말, 오자, 탈자를 잘 이해할 수 있는 모델을 개발하기 위해, 대분류 주제별 텍스트를 별도로 수집하였으며 대부분의 데이터는 블로그, 댓글, 리뷰입니다. * 모델의 상업적 사용의 경우 MOU를 통해 무료로 사용하실 수 있습니다. [email protected] 로 문의 부탁드립니다. * 자연어처리를 처음 접하시는 분들을 위해 [Youtube에 자연어처리 기초 강의](https://www.youtube.com/watch?v=Z201jwWo-xs&list=PLrLEKGJAgXxL-R9IqDH7HANWXRsS900tF&ab_channel=Ready-To-UseTech)를 올려두었습니다(약 6시간 분량) ## Recent update * 2021-01-30: [Bertshared](https://arxiv.org/abs/1907.12461) (Bert를 기반으로 한 seq2seq모델) 모델 추가 * 2021-01-26: [GPT3](https://github.com/openai/gpt-3) 모델 초기 버전 추가 * 2021-01-22: [Funnel-transformer](https://github.com/laiguokun/Funnel-Transformer) 모델 추가 ## Pretraining models | | Hidden size | layers |max length | batch size | learning rate | training steps | | -------------------------------- |----------------: | ---------: | ---------: | ---------: | ------------: | -------------: | | albert-kor-base | 768 | 12 | 256 | 1024 | 5e-4 | 0.9M | | bert-kor-base | 768 | 12 | 512 | 256 | 1e-4 | 1.9M | | funnel-kor-base | 768 | 6_6_6 | 512 | 128 | 8e-5 | 0.9M | | electra-kor-base | 768 | 12 | 512 | 256 | 2e-4 | 1.9M | | gpt3-kor-small_based_on_gpt2 | 768 | 12 | 2048 | 4096 | 1e-2 | 10K | | bertshared-kor-base | 768/768 | 12/12 | 512/512 | 16 | 5e-5 | 20K | * 원본 모델과 달리 **tokenizer는 모든 모델에 대해 wordpiece로 통일**하였습니다. 자세한 사용법은 usage를 참고해주세요. * ELECTRA 모델은 discriminator입니다. * BERT 모델에는 whole-word-masking이 적용되었습니다. * FUNNEL-TRANSFORMER 모델은 ELECTRA모델을 사용했고 generator와 discriminator가 모두 들어가 있습니다. * GPT3의 경우 정확한 아키텍쳐를 공개하진 않았지만 GPT2와 거의 유사하며 few-shot 학습을 위해 input길이를 늘리고 계산 효율화를 위한 몇가지 처리를 한 것으로 보입니다. 따라서 GPT2를 기반으로 이를 반영하여 학습하였습니다. * BERTSHARED는 seq2seq모델로 encoder와 decoder를 bert-kor-base로 초기화한 다음 training을 한 것입니다. Encoder와 decoder가 파라미터를 공유하게 함으로써 하나의 bert 모델 용량으로 seq2seq를 구현할 수 있게 되었습니다 ([reference](https://arxiv.org/abs/1907.12461)). 공개한 모델은 summarization 태스크에 대해 학습한 것입니다. ## Notebooks | | 설명 | Colab | | ---| ------| ----- | | GPT3 generation | GPT3 모델을 통해 한글 텍스트를 입력하면 문장의 뒷부분을 생성합니다. | [](https://colab.research.google.com/github/kiyoungkim1/LMkor/blob/main/notebooks/gpt3_text_generation.ipynb) | | Bertshared summarization | Bertshared모델을 통해 문서를 요약합니다. | [](https://colab.research.google.com/github/kiyoungkim1/LMkor/blob/main/notebooks/summarization_with_bertshared.ipynb) | | mask prediction | Masked language model별로 문장 속 mask에 들어갈 확률이 높은 단어를 보여줍니다. | [](https://colab.research.google.com/github/kiyoungkim1/LMkor/blob/main/notebooks/mask_prediction.ipynb) | * 간단한 테스트 결과와 사용법을 보여드리기 위한 것으로, 자체 데이터로 원하시는 성능을 얻기 위해서는 tuning이 필요합니다. ## Usage * [Transformers](https://github.com/huggingface/transformers) 라이브러리를 통해 pytorch와 tensorflow 모두에서 편하게 사용하실 수 있습니다. ```python # electra-base-kor from transformers import ElectraTokenizerFast, ElectraModel, TFElectraModel tokenizer_electra = ElectraTokenizerFast.from_pretrained("kykim/electra-kor-base") model_electra_pt = ElectraModel.from_pretrained("kykim/el
Excerpt of 9,678 characters
Read on GitHubWould you bet a product on this? Bounded 0–100 and slow moving.
matched fp:de6b059676c2ccd1, llm:Repository description: 'Pretrained Language Models for Korean' (readme empty); language Jupyter Notebook.
matched fp:de6b059676c2ccd1, llm:Repository description: 'Pretrained Language Models for Korean' (readme empty); language Jupyter Notebook.