[20230319] Weekly AI ArXiv 만담 시즌2 - 10회차

[jungwoo-ha]

News: 아 지난 주 너무 힘든.....

• 지난 주 못했던 내용 (죄송합니다)

• Conferences

  • ICML 2023 리뷰, ACL 2023 리뷰 나왔네요 --> 모두들 파이팅!
  • ICCV 2023 Supplementary까지 모두 수고하셨습니다! (저자는 ArXiv 업로드는 되지만 본인이 홍보하시면 안되요)

• GPT4가 드디어 공개

  • 멀티모달 (이미지) + 텍스트 입력 --> 텍스트 출력
  • 모델과 학습데이터에 대한 구체적인 스펙은 없음
  • Microsoft 김영진 박사님 말씀에 따르면 이미 학습은 작년 8월에 끝
  • 정말 많은 Instruction 데이터에 대한 Finetuning 이 진행된 것으로 보임
  • 특히 전문지식류의 벤치마크에서 압도적인 향상이 나옴
  • RLHF를 통해 Hallucination을 근본적으로는 해결하지 못해도 상당히 많이 해소 함
  • ChatGPT Plus에서 바로 활용가능하며 속도는 legacy 와 유사함.
  • 글쓰기 능력이나 논리적인 전개력은 상당히 많이 개선된 것으로 보임.
  • 일부 한국 문화나 법에 대해서는 여전히 오류가 있음 (고속도로 오토바이, 설날 차례상에 삼계탕 등)
  • AI제국주의의 시작? We were wrong by "Ilya Sustskever"
    
    
    
    
    
    
    
    

• Microsoft 365 Copilot

  • Microsoft Office 365 에 Foundation model 그리고 개인 문서데이터가 녹아든 개인화 AI기반 Office
  • 문서 파일을 주면 슬라이드가 뚝닥, 문서, 이메일, 엑셀은 물론 Todo 리스트 까지
  • 인사이트가 넘치는 감명깊은 Satiya의 Intro
  • 일하는 방식이 정말 혁신으로 바뀌게 될 느낌

• 미 저작권청 가이드라인: 사람의 창의성이 입증된 AI작품만 저작권 인정

ArXiv

• LERF: Language Embedded Radiance Fields
  • NeRF에 Clip 을 활용해 언어정보를 NeRF로 밀어넣기 (from UC Berkeley)
  • NeRF에서 open vocabulary 형태로 특정 문구를 입력 받으면 해당하는 부분을 리얼타임으로 3d map visualization 가능
  • 이를 통해 3d scene recon 혹은 robot과의 언어로 인터랙션이 용이해질 것으로 보임
  • 프로젝트 페이지: https://www.lerf.io/
    
    

[gyunggyung]

News

• ChatGPT 만드는 강의
• 호주 인공지능 저작권 인정
• 2024년 미키마우스 저작권 만료
• 한국은 대륙법을 따르기에...
• Beomi/KoAlpaca
• 써보시면 됩니다. GPT-4 랑 비교하면 제대로 안 됩니다.
• llama의 학습 방식 덕에 성능이 좋습니다.

OpenMLLM

Open Source + Multilingual MLLM + Fine-tuning + Distillation + More efficient models and learning + ?

We're looking for someone to join us in implementing a top-performing MLLM model.

는 오류

아래 오류를 어떻게 해결할 수 있을까요?

$ g++ main.cpp -o main -lonnxruntime
main.cpp:6:10: fatal error: onnxruntime_c_api.h: No such file or directory
    6 | #include <onnxruntime_c_api.h>
      |          ^~~~~~~~~~~~~~~~~~~~~
compilation terminated.

$ ./chat
-bash: ./chat: No such file or directory

$ ./chat.cpp
./chat.cpp: line 2: $'\r': command not found
./chat.cpp: line 4: $'\r': command not found
./chat.cpp: line 13: $'\r': command not found
./chat.cpp: line 20: $'\r': command not found
./chat.cpp: line 29: $'\r': command not found
./chat.cpp: line 30: //: Is a directory
./chat.cpp: line 31: int,: No such file or directory
./chat.cpp: line 38: syntax error near unexpected token `('
'/chat.cpp: line 38: `// default hparams (LLaMA 7B)

Reference

• gyunggyung/KoAlpaca.cpp: https://github.com/gyunggyung/KoAlpaca.cpp
• antimatter15/alpaca.cpp: https://github.com/antimatter15/alpaca.cpp
• ggerganov/llama.cpp: https://github.com/ggerganov/llama.cpp
• Beomi/KoAlpaca: https://github.com/Beomi/KoAlpaca
• gyunggyung/DistilKoBiLSTM: https://github.com/gyunggyung/DistilKoBiLSTM
• microsoft/unilm: https://github.com/microsoft/unilm
• deepmind/code_contests: https://github.com/deepmind/code_contests
• HeegyuKim/language-model: https://github.com/HeegyuKim/language-model
• google-research/t5x: https://github.com/google-research/t5x
• kojima-takeshi188/zero_shot_cotp: https://github.com/kojima-takeshi188/zero_shot_cot
• NVlabs/prismer: https://github.com/NVlabs/prismer
• microsoft/visual-chatgpt: https://github.com/microsoft/visual-chatgpt
• GPT-4: https://www.facebook.com/groups/6129390073749513/permalink/6131959123492608
• USM: https://arxiv.org/abs/2303.01037
• MuAViC: https://arxiv.org/abs/2303.00628
• GLOM: https://arxiv.org/pdf/2102.12627.pdf
• CACTI: https://cacti-framework.github.io/
• PaLM-E: https://palm-e.github.io
• Youtube: https://www.youtube.com/playlist?list=PLsmJteXozP3oHVB5TCrXEcrfQnInMxkoT

Alpaca.cpp

Run a fast ChatGPT-like model locally on your device. The screencast below is not sped up and running on an M2 Macbook Air with 4GB of weights!

The Model That Changes Everything: Alpaca Breakthrough (ft. Apple's LLM, BritGPT, Ernie and AlexaTM)

This combines the LLaMA foundation model with an open reproduction of Stanford Alpaca a fine-tuning of the base model to obey instructions (akin to the RLHF used to train ChatGPT) and a set of modifications to llama.cpp to add a chat interface.

Get started

git clone https://github.com/antimatter15/alpaca.cpp
cd alpaca.cpp

make chat
./chat

You can download the weights for ggml-alpaca-7b-q4.bin with BitTorrent magnet:?xt=urn:btih:5aaceaec63b03e51a98f04fd5c42320b2a033010&dn=ggml-alpaca-7b-q4.bin&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%2Fopentracker.i2p.rocks%3A6969%2Fannounce

Alternatively you can download them with IPFS.

# any of these will work
wget -O ggml-alpaca-7b-q4.bin -c https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
wget -O ggml-alpaca-7b-q4.bin -c https://ipfs.io/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
wget -O ggml-alpaca-7b-q4.bin -c https://cloudflare-ipfs.com/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC

Save the ggml-alpaca-7b-q4.bin file in the same directory as your ./chat executable.

The weights are based on the published fine-tunes from alpaca-lora, converted back into a pytorch checkpoint with a modified script and then quantized with llama.cpp the regular way.

Credit

This combines Facebook's LLaMA, Stanford Alpaca, alpaca-lora and corresponding weights by Eric Wang (which uses Jason Phang's implementation of LLaMA on top of Hugging Face Transformers), and llama.cpp by Georgi Gerganov. The chat implementation is based on Matvey Soloviev's Interactive Mode for llama.cpp. Inspired by Simon Willison's getting started guide for LLaMA.

Disclaimer

Note that the model weights are only to be used for research purposes, as they are derivative of LLaMA, and uses the published instruction data from the Stanford Alpaca project which is generated by OpenAI, which itself disallows the usage of its outputs to train competing models.

[dhlee347]

Non-Arxiv

Stanford Alpaca: An Instruction-following LLaMA Model

• https://github.com/tatsu-lab/stanford_alpaca
• fine-tuned from a 7B LLaMA model on 52K instruction-following data generated by the techniques in the Self-Instruct paper
• behaves similarly to the text-davinci-003 model on the Self-Instruct instruction-following evaluation suite
• 작은 Instruction following 모델을 매우 쉽게 만들 수 있다는 것을 증명, 하지만 큰 모델이나 RLHF 모델과 과연 맞먹을 것인가? 글쎄..
• 

Together Computer (together.xyz)

• Stanford 두 교수님 스타트업 : SSM으로 유명한 Christopher Re과 유명한 Percy Liang
• GPT-JT, OpenChatKit 공개
• A decentralized cloud 를 표방 : Bandwidth가 낮은 환경에서의 Decentralized Training을 꿈꾸는 듯. (https://www.together.xyz/blog/neurips-2022-overcoming-communication-bottlenecks-for-decentralized-training-12)

Schillace laws of Semantic AI

• Microsoft 부 CTO, Sam Schillace 가 만든 LLM을 소프트웨어 엔지니어링에 어떻게 응용할 것인가에 대한 실용적인 가이드라인.
• https://learn.microsoft.com/en-us/semantic-kernel/howto/schillacelaws
• 이승준님 한국어 설명 : https://www.facebook.com/seungjoon.choi/posts/pfbid02NSoWzR5gcUuwW3HM3mafTVkD11woGN6pqSGwhd7HB4oow1szXvRkYk6eQNZXd4T5l

1. Don’t write code if the model can do it; the model will get better, but the code won't.
2. Trade leverage for precision; use interaction to mitigate.
3. Code is for syntax and process; models are for semantics and intent.
4. The system will be as brittle as its most brittle part.
5. Ask Smart to Get Smart.
6. Uncertainty is an exception throw.
7. Text is the universal wire protocol.
8. Hard for you is hard for the model.
9. Beware "pareidolia of consciousness"; the model can be used against itself."

Arxiv

GPT-4 Technical Report (https://cdn.openai.com/papers/gpt-4.pdf)

(정우님이 언급하지 않은 것 위주로)

• 대규모 학습에서는 모델 관련 튜닝이 어렵기 때문에, Multiple scales에 걸쳐서 매우 predictable한 결과를 보장하는 infrastructure와 optimization methods를 개발했다.

  • Loss Prediction

    • $L(C) = aC^b + c$ ; 만배 적은 compute로 알아냄(?)
    • 
    • 학습 데이터에 없는 internal codebase를 데이터로 써서 개발했다. (?)

  • Task Performance Prediction (HumanEval - code task) :

    • $-E_P [log(pass rate(C))] = \alpha * C^{-k} $
    • 

• Capabilities (생략 - 정우님 글 참조)

• Limitation

  • Hallucination - Not fully reliable, but better

  • 

  • 

  • 2021년 9월이후 최신 정보가 없음

  • Over-confident prediction

    • PLM은 highly calibrated 되어 있지만, post-training 이후에는 틀어짐.

  • 

  • Various Biases 있을 수 있음.

• RLHF

  • Task 성능에는 크게 영향을 주지 않는다.
  • Truthfullness, Harmlessness에는 효과가 있음.

• Risks & mitigations

  • Adversarial testing
    • 50명의 risk 전문가가 수행, 이를 통한 데이터 수집
  • Model-Assisted Safety Pipeline
    • Additional set of safety-relevant RLHF training prompts
    • Rule-based reward models (RBRMs)
      • GPT-4 자신을 zero-shot의 형태로 classifier를 만들어 reward를 줌.
      • classifier : (prompt, output, human-written rubric) --> multiple-choice of harmful type
      • 안전이 보장된 prompt에 대한 non-refusal response도 reward를 줌
      • 

Larger language models do in-context learning differently (https://arxiv.org/abs/2303.03846)

• 두가지 변형된 in-context learning (ICL) 로 LLM이 ICL을 어떻게 수행하는지 알아봄.
  • ICL with flipped labels
    • semantic prior knowledge and input–label mappings disagree
    • ability to learn input–label mappings and override semantic priors
  • ICL with semantically-unrelated labels
    • learning only by using input–label mappings
  • 
• 결과
  • Small Models 은 (semantic prior에 반한) Flipped Label (as input–label mappings) 을 넣어도 그걸 학습하지 못함.
  • Large Models 은 이를 학습할 수 있음.
  • 
  • Small Models 은 semantic prior없는 SUL-ICL (as input–label mappings) 을 하면 성능이 많이 떨어짐.
  • Large Models 은 이를 잘 학습할 수 있음.
  • 
  • 
  • Instruction Tuning은 input–label mappings 을 잘 학습할 순 있지만, Semantic prior를 더 강화시킴
  • 
  • 
• 결론
  • Large Models 는 기존 학습 데이터 셋의 통계에 기반한 semantic prior를 무시하고 보다 가상의, 가설적인 input-label mappings를 학습할 수 있다. 이는 인간의 의사결정/문제해결 능력의 기반이 되는 반사실적 추리 (counterfactual reasoning) 를 Large Model 일수록 잘 할 수 있다는 것을 말하는게 아닐까 사료됨. (이건 제 생각)

[scene-the-ella]

ArXiv

UniDiffuser: One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale

• 데모: 링크
• UniDiffuser: Unified Diffusion Framework
• 하나의 모델에서 멀티모달 데이터의 분포 fitting
• 사람: 멀티모달 콘텐츠를 동시다발적으로 응용/생성 가능

아티스트가 글자, 장면, 상상 등으로 부터 그림을 그리는 것 처럼

• Generative model: 하나의 테스크에서만 생성 (대체적으로)
• e.g. t2i 생성에서 conditional distribution은 p(Image|Text)

  • 원래는 이 때, 첫번째로는 joint distribution을, 그다음 infer (marginal, conditional)순으로 학습 - Markov Chain

    • 큰 스케일의 멀티모달 데이터에서는 적합하지 않은 방식
    • 확률적 모델링 관점에서, 관련 분포들을 fitting 함으로서 해결해볼까??
    • +) 멀티모달에서의 General한 생성을 위해서, 통합된 training 프레임워크의 필요성 대두
      

  • UniDiffuser: Diffusion-based framework. 추가적인 학습이나 인퍼런스 오버헤드 없이 하나의 모델에서 모든 관련된 분포를 피팅함으로서 해결

    • Perturbation 데이터로부터 노이즈를 학습 == 모든 분포의 학습
      • perturbation levels가 0라면 -> conditional generation
      • maximum level이라면 -> corresponding modality를 무시하고 unconditional generation
        
    • 1. 이미지와 텍스트를 continuous latent ebedding으로 변환
      • Image en/decoder: Stable Diffusion, CLIP
      • Text encoder: CLIP, decoder: GPT-2
    • 2. latent embedding x0, y0에 트랜스포머를 통해 파라미터화된 uniDiffuser를 훈련
         Result
         

FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization

• Project page
• Code
• 3장의 이미지로도 좋은 성능을 냄
• How?
  • 고주파 신호를 통해 few-shot neural rendering에서 극단적으로 오버피팅 형성
    
    • L : the length of the positional encoding, x : the visible ratio.
  • 주파수 정규화를 통해 고주파 및 저주파 신호의 이점 모두 채택 (NeRF는 low에서만)
  • Occlusion 정규화