Title: Characterization and Analysis of Text-to-Image Diffusion ModelsVenue: IEEE Computer Architecture Letters (CAL), 2024Author: Eunyeong Cho, Jehyeon Bang, and Minsoo Rhu (KAIST)[ 무엇에 관한 논문인가 ]Stable Diffusion에서 생성하는 이미지의 해상도가 커질수록 Attention의 계산 복잡도가 지수승으로 증가함을 분석함.Attention에서 Score matrix가 sparse하게 near-zero인 것을 관측하고, Approximate attention mechanism을 제안해 약 70%의 FLOPs를 줄임.실제 GPU에 이 메커니즘을 적용하면..