GPT-4やLlama、Claudeといった大規模言語モデルは、2017年にGoogleの研究者が発表した「Transformer」というフレームワークの上に構築されています。このTransformerをベースにしたAIモデルがどのように機能するのかを視覚化したツール「Transformer Explainer」が ...
LLMの内部計算を可視化するツールであるTransformer Explainerを開発。 Transformer Explainerの詳細機能(2024年8月12月時点) Embeddingの可視化 Multi-head Self Attensionの可視化 QKVの計算の可視化 最終層の確率計算の可視化 ...