M* — 上流に採用された貢献

採用された貢献と指針

私は pull request #235 を通じ、M* の上流 serving frameworkにあった media input の不具合を修正しました。OpenAI 互換 input_audio.data が padding なしの base64 や空白を含む場合、decode 失敗が internal server error になっていました。マージ済みパッチは正当な変種を許容し、メンテナレビュー後に同じ decoder を data URL にも適用し、不正 media を HTTP 400 に対応付け、4ファイルに回帰テストを追加しました。

作業は Yuchao Zhang の tracker issue #211 から始まりました。Naomi Sagan が担当可能であることを確認し、メンテナレビューで技術的な修正範囲を案内し、承認した後、上流 commit 7da29eaとしてマージしました。これは公開されたメンテナの指針であり、学術的な指導関係ではありません。

M* の機能

M* は任意の入力・出力モダリティを持つモデル向けの高性能 serving framework です。Python SDK、OpenAI 互換 API、native streaming、multi-model scheduling、論理モデル node と GPU rank の明示的な対応を提供します。

上流 M* の公式 social card を正確な commit と Git blob に固定し、ローカルで正規化したものです。合成プロジェクト画像は使用していません。

原理と構成

API server が request を受信・decode し、conductor が model-defined computation graph をたどって worker を選び、処理を route します。各 GPU では micro-scheduler 付き worker が動き、engine が resource admission、forward step の計画・実行、state commit、continuous batching、CUDA graph を担います。Tensor route が worker 間の中間値を運び、post-processing が streaming response を生成します。モデルは計算グラフと資源要件を宣言し、serving engine が実行を担い、YAML node_groups が論理 node を GPU rank に割り当てます。今回の貢献は、この分散経路へ入る前の入力境界を強化しました。

証拠と帰属

カタログでは私のリポジトリを fork と表示します。default branch に上流より ahead の commit はありません。採用された貢献の根拠は、上記の上流 PR、review、approval、commit です。