AI予備校

タグ: 大規模言語モデル

  • MiniMax M1：1Mトークンの文脈に対応する巨大MoEモデル

    2025年春、中国スタートアップのMiniMaxは4560億パラメータを持つMixture‑of‑Expertsモデル「M1」を公開しました。アクティブパラメータは45.9億で、従来のTransformerと「ライトニングアテンション」を組み合わせたハイブリッドなアテンション機構を採用しており、100万トークンという長いコンテキストを処理します。加えて、新しい強化学習アルゴリズムCISPOにより安定したトレーニングを実現しています。

    M1の特徴

    特長説明
    巨大MoE構造4560億パラメータだが、1回の推論では45.9億しか活性化しないため効率的
    超長コンテキスト100万トークンまで対応し、プログラムコードや書籍全体など長文処理に向く
    ライトニングアテンション従来のソフトマックスアテンションと組み合わせ、計算量を大幅に削減
    CISPOアルゴリズム重要度サンプリングの重みをクリップし、学習を安定化

    応用例

    M1は長いプログラムの解析や大量のドキュメント検索に適しており、教育や研究に役立ちます。初心者は長コンテキスト処理のメリットを体験し、コードや文書の要約ツールとして応用できます。

    まとめ

    MiniMax M1は大規模言語モデル開発の新たな方向性を示しています。効率的なMoE設計と長文対応が特徴で、リサーチ分野や産業界での採用が期待されます。

    参考文献

    1. arXiv
    2. GitHub

  • gpt‑oss：初のApache2ライセンス大規模モデルを試す

    オープンソースコミュニティに朗報です。OpenAIが2025年8月5日に発表したgpt‑ossシリーズは、商用利用も可能なApache 2.0ライセンスで公開された大規模モデルです。Mixture‑of‑Experts構造により、コンパクトながら高性能を実現しています。simonwillison.net

    f8cb85a3-20c1-4166-9f01-d96bb5bb9b1b_16x9.png

    特長のまとめ

    gpt‑ossシリーズの主な特長を表に整理しました。

    特長要点
    高性能と小型化の両立120bはo4‑miniに匹敵し、20bはノートPCでも動作可能
    Mixture‑of‑Experts構造アクティブパラメータを絞って効率的に推論
    高い知識性能GPQAで80％以上の正答率を記録
    徹底した訓練210万H100時間を投じCoT強化学習を実施

    120bと20bの比較

    用途に応じて適切なモデルを選ぶために、gpt‑oss‑120bと20bの違いをまとめました。

    モデル推論用メモリアクティブパラメータ総パラメータ備考
    gpt‑oss‑120b80GB約5.1B117B性能重視。サーバーGPUでの運用向け
    gpt‑oss‑20b16GB約3.6B21BノートPCやローカル環境で動作可能simonwillison.net

    使いどころ

    ローカル環境でのAI実験やプライバシー重視のアプリケーションに最適です。軽量モデルでもCoTを活用した推論ができるため、エッジデバイスでのパーソナルエージェントや独自のツール連携を構築する際にも有用です。

    参考文献

    simonwillison.net

  • GPT‑5リリース：プログラマー必見の256KコンテキストAI

    最初の一歩として、GPT‑5の概要を押さえておきましょう。2025年8月7日にリリースされたこのモデルは、従来の生成AIを大きく進化させ、学習や開発の方法を変える可能性を秘めています。特にコンテキストウィンドウが256Kトークンまで広がったことにより、大規模なコードや長文資料も一度に処理できるようになりました。OpenAI

    b37398a3-0084-4593-aaa9-ab633b22f758_16x9.png

    特長のまとめ

    GPT‑5は以下のような特徴を持っています。コンテキストウィンドウが巨大化し、コード生成や科学分野での精度が向上した点が注目されています。

    機能概要
    大容量コンテキスト最大256Kトークンを扱い、長文のコードや資料も一度に処理
    コード生成能力実務寄りのSWE-bench Verifiedで74.9%、Aider Polyglotで**88%**と過去最高水準
    理系分野への適性GPQAなどで高得点を出し、科学や数学の質問にも対応
    エージェント自動化外部APIやブラウザ操作を自律的に実行し、タスクを自動化できる

    GPT‑5とGPT‑4の比較表

    旧モデルとの違いを簡単に比較すると次のようになります。GPT‑5ではコンテキスト量が倍増し、ツール連携や自律的なタスク遂行の能力が大幅に向上しています。

    項目GPT‑4（参考値）GPT‑5（本記事）
    コンテキスト量最大128K程度最大256Kトークン
    コード生成精度高いが制限ありSWE‑benchで90％近く
    ツール連携基本的なAPI外部APIやブラウザ操作も可能
    対応分野一般的な質問理系・科学・数学に強い

    活用アイデア

    • プロジェクト全体の解析 – 大きなコードベースを読み込ませ、仕様書や設計書を要約させることで新しいプロジェクトに素早くキャッチアップできます。
    • バグ修正の支援 – エラーメッセージと期待する動作を伝え、修正案と解説を生成してもらうことでデバッグを効率化できます。
    • 研究・学習の伴走者 – 論文や教科書を読み込ませ、背景説明や質問への回答を得ることで学習を支援します。

    GPT‑5は長い文脈を保持しながら推論できるため、これまで難しかった大規模プロジェクトの理解や学習が格段に楽になります。

    参考文献

    1. OpenAI
    2. Radical Data Science