あなたのPCはMetaの新しいララAIモデルを処理できないかもしれません。

メタは、独自の最強力なAIモデルの修正版であるLlama 3.3 70Bをリリースしました。このモデルは、自分のハードウェアで動作させるためにダウンロードできます。しかし、あなたのPCはまだ準備ができていないかもしれません。「最初の段落の下に配置される広告が見つかりませんでした。紹介の途中に配置される広告が見つかりませんでした。」多くの他の大規模言語モデル（LLMs）同様、MetaのLlama生成型AIモデルは、異なる使用ケースに応じて複数のパラメータサイズで利用可能です。例えば、最小のLlama 3.2 1Bモデルは、平均的なスマートフォンでも高速なパフォーマンスで基本的なタスクを処理できます。一方、より大きな11Bと90Bのバージョンは、より強力で、高性能なPCやサーバーが必要です。Llamaモデルは主にテキストとチャット機能に設計されていますが、一部のバージョンは画像も理解できます。Metaの新しいLlama 3.3 70Bモデルは、会社の最大のモデルである405Bバージョンと同じ性能を提供すると主張していますが、より多くのPCとサーバーで動作できる能力があります。Metaの生成AI部門の副社長はソーシャルメディア投稿で、「このモデルは、オンラインの好み最適化などの最新の後訓練技術を活用することで、大幅にコストを削減しながらコア性能を向上させます。」と述べました。この新しい70Bモデルは、元の405Bバージョンと大幅に縮小されていますが、それでも適切なパフォーマンスでローカルで実行するには、強力なPCまたはサーバーが必要です。ファイルサイズは37.14GBで、LLMは一般的にRAMに収まることで良好に動作しますので、64GBのRAMを持つマシンが必要かもしれません。また、モデルを実行するには、強力なGPU（複数組み合わせてもよい）が必要です。

モデルの説明によると、「Llama 3.3は複数の言語で商業的および研究用途に適しています。指示微調整されたテキストのみのモデルは、アシスタントのようなチャットに適しています。一方、事前学習モデルは様々な自然言語生成タスクに適応できます。Llama 3.3モデルは、そのモデルの出力を活用して他のモデルを改善する機能（合成データ生成や蒸馏など）もサポートしています。

Llama 3.3 70Bはほとんどのコンピュータハードウェアで動作しませんが、LM StudioやNvidiaのChat With RTXなどのアプリを使用して、1B、3B、8Bのモデルは多くのデスクトップやノートPCで動作できます。私の16GB M1 Mac Miniでは、クラウドベースのAIチャットボットと類似の速度でLlama 3.1 8Bを動作させることができます。しかし、RAMが不足しているため、8GBのMacBook Airでは、3Bモデルを使用しています。Metaのウェブサイト、Hugging Face、LM Studioの内蔵検索、他のリポジトリからLlama 3.3 70Bとその他のLlamaモデルをダウンロードできます。