Microsoft, Azure API Management’in AI Gateway katmanını (tier) public preview olarak duyurdu. Platform ekiplerine, AI iş yükleri için özel olarak inşa edilmiş bir deneyim sunuyor: modelleri ve MCP sunucularını yayınlamak ve yönetmek. Kontroller XML ve expression yerine policy kartları üzerinden yapılandırılıyor; portal deneyimi ve kontrol düzlemi API’ler yerine modeller, MCP sunucuları ve tool’lar etrafında yapılandırılmış durumda.
(Yazının devamında kısaca “AI Gateway” olarak anılıyor.)
AI Gateway, Azure API Management üzerine inşa edilmiş ve kanıtlanmış operasyonel yetenekleri AI iş yüklerine taşıyor. Kaynak sizin aboneliğinizde çalışıyor, sizin Entra tenant’ınızı kullanıyor ve telemetriyi sizin kontrol ettiğiniz hedeflere gönderiyor. İşletim modeli mevcut API Management müşterilerine tanıdık gelecek, ancak arayüz AI iş yükleri etrafında kurulmuş.
AI Gateway katmanı, bu odaklanmış deneyimi isteyen ekipler için tasarlanmış. Kurumların aynı zamanda genel amaçlı API yönetimine ya da AI Gateway deneyiminde bulunmayan yeteneklere ihtiyacı olduğunda diğer API Management katmanları doğru tercih olmaya devam ediyor.
Platform ekipleri için pratik bir model
AI Gateway, platform ekiplerine modelleri, MCP sunucularını, politikaları ve gözlemlenebilirlik hedeflerini yönetebilecekleri paylaşımlı bir yer veriyor; erişim Azure RBAC üzerinden kontrol ediliyor.
Örneğin merkezi bir platform grubu, onaylanmış bir dizi model ve tool bağlayıp bunları uygulama ekiplerine yayınlayabiliyor. Uygulama ekipleri bu varlıkları test konsolunda deneyebiliyor ve her değişikliği merkezi gruptan geçirmeden üzerine geliştirme yapabiliyor. Platform grubu paylaşımlı guardrail’lerin sahibi olmaya devam ediyor ve varlıkların nasıl kullanıldığını görebiliyor. Bir varlık yayınlandıktan sonra geliştiriciler adlandırılmış bir runtime anahtarı oluşturup gateway’i hemen çağırmaya başlayabiliyor.
Zaten kullandığınız model ve tool’ları getirin
Kurumların çoğu tek bir model sağlayıcısında standartlaşmıyor. Farklı modeller kalite, gecikme, maliyet, coğrafya veya özelleşmiş yeteneklere göre seçiliyor.
Preview’ın desteklediği model kaynakları:
- Microsoft Foundry üzerindeki modeller — OpenAI, Anthropic, Mistral ve diğer Foundry-hosted modeller
- AWS Bedrock‘ta barındırılan modeller
- Google Vertex AI‘da barındırılan modeller
- Doğrudan OpenAI ve Anthropic modelleri
Microsoft Foundry’den model içe aktarımını rehberli bir sihirbaz kolaylaştırıyor. Diğer sağlayıcılar bir bağlantı yapılandırılarak eklenebiliyor; backend kimlik doğrulaması da bu bağlantının bir parçası olarak ayarlanıyor.
Yayınlanan tüm modeller aynı kararlı endpoint altında erişilebiliyor. Uygulamalar, desteklenen API formatlarını — OpenAI Chat Completions ve Responses ya da Anthropic Messages — doğrudan veya SDK’lar üzerinden kullanmaya devam ediyor.
MCP sunucuları ve tool’lar
AI Gateway, yönetişimi modellerin ötesine — ajanların kurumsal sistemlerle etkileşim için kullandığı MCP sunucularına ve tool’lara — taşıyor. Yapabilecekleriniz:
- Mevcut bir MCP sunucusunu SSE veya Streamable HTTP üzerinden açığa çıkarmak
- Bir REST API’nin tüm veya seçili operasyonlarını OpenAPI spesifikasyonunu yükleyerek bir MCP sunucusuna dönüştürmek
- Power Platform ve Logic Apps kütüphanesinden 1.400’den fazla connector destekli tool kullanmak
- Birden çok MCP sunucusunu tek bir sunucunun arkasında federe etmek — böylece bir ajan bir kez bağlanıp o sunuculardaki tool’ların tamamını görüyor
Backend kimlik doğrulaması şunları destekliyor: API anahtarı, OAuth client credentials, managed identity veya mTLS.
Yerleşik gelen yönetişim
Kurumlar, her uygulama ekibinin bu yetenekleri bağımsız olarak uygulamasını gerektirmeden modeller ve MCP sunucuları genelinde tutarlı yönetişime ihtiyaç duyuyor.
AI Gateway portalı yönetişim politikalarını policy XML yazmayı gerektirmeyen, sezgisel kart tabanlı bir deneyim üzerinden sunuyor. Aynı politikalar JSON özellikleri olarak da ifade ediliyor; bu da onları infrastructure as code olarak yönetmeyi ve Azure Policy ile bir filo genelinde denetlemeyi ve zorlamayı kolaylaştırıyor.
Public preview’da bu kartların kapsadığı politikalar:
- İstek ve token rate limit’leri
- Token kotaları
- Azure AI Content Safety
- İkincil bir modele fallback
Politikalar varlık başına uygulanıyor; bu da hangi kontrollerin hangi modeli veya MCP sunucusunu koruduğunu net hâle getiriyor.
OpenTelemetry tabanlı token metrikleri
AI Gateway, token kullanım metriklerini OpenTelemetry üzerinden yayıyor; öznitelikler GenAI ve cloud semantic convention’larını takip ediyor.
Metrikler şu hedeflere gönderilebiliyor: Application Insights, Datadog, Splunk, Grafana Cloud veya başka bir OTLP endpoint’i. Portal ayrıca Application Insights verisi üzerinde bir izleme görünümü sunuyor.
Birlikte daha iyi: Microsoft Foundry ve AI Gateway
AI Gateway ile ekipler aynı yönetişim kontrollerini — örneğin token rate limit’leri ve kotaları — hem Microsoft Foundry’de barındırılan hem de başka yerde barındırılan modeller genelinde genişletebiliyor. Foundry ve Foundry dışı modeller gateway tarafından yönetilen endpoint’ler üzerinden yayınlanıyor; böylece uygulamalar ve ajanlar, modelin nerede barındırıldığından bağımsız olarak yönetilen modellere tutarlı bir şekilde erişebiliyor.
Foundry’de barındırılan ajanlar, Foundry toolbox‘larından derlenmiş tool setlerini tüketebiliyor; alttaki MCP sunucularına ve API’lere erişim ise AI Gateway üzerinden yönetiliyor.
Birlikte ele alındığında Microsoft Foundry ve AI Gateway kurumsal uygulama yaşam döngüsünü kapsıyor: Foundry AI uygulamalarını inşa etmek ve çalıştırmak için, AI Gateway ise AI varlıklarınız genelinde modelleri, tool’ları ve MCP sunucularını yayınlamak, yönetmek ve gözlemlemek için.
Yeni AI Gateway katmanı yakında Microsoft Foundry portalındaki gateway deneyimi üzerinden de erişilebilir olacak. Microsoft, Foundry portalı içinde kesintisiz ve entegre bir AI Gateway deneyimi üzerinde çalıştığını ve bu çalışmayla ilgili ayrıca bilgi paylaşacağını belirtiyor.
Bugün public preview’da kullanılabilir
AI Gateway katmanı bugün ücretsiz olarak public preview’da, East US 2 ve Sweden Central bölgelerinde kullanılabilir durumda. Fiyatlandırma ayrıca duyurulacak.
Bir kaynak sağlamak, model veya MCP sunucusu eklemek ve ilk çağrıyı yapmak için AI Gateway katmanı portalına gidebilirsiniz.
Koddan başlamayı tercih ediyorsanız, model ve tool’larına AI Gateway üzerinden erişecek şekilde yapılandırılmış bir Foundry-hosted ajan için gereken tüm kaynakları deploy eden bir örneği kullanabilirsiniz.
Microsoft, AI Gateway’i hızla geliştirmeye devam ederken geri bildirim beklediğini belirtiyor.
Bu duyuru, kurumsal AI yönetişimi tarafında son dönemde gördüğümüz eğilimi somutlaştırıyor: model erişimi artık çözülmüş bir problem, asıl mesele çok sağlayıcılı bir model ve tool filosunu tek bir yönetişim yüzeyinden yönetebilmek. AI Gateway’in en dikkat çekici tarafı MCP’yi birinci sınıf bir yönetişim nesnesi olarak ele alması: OpenAPI’den MCP sunucusu üretme ve birden çok MCP sunucusunu federe etme yetenekleri, ajan mimarilerinde giderek büyüyen tool dağınıklığına doğrudan cevap veriyor. Policy kartlarının aynı zamanda JSON olarak ifade edilip Azure Policy ile filo genelinde zorlanabilmesi de tek tek portal ayarı yapmakla yetinmeyen ekipler için önemli bir ayrıntı. Preview’ın şimdilik iki bölgeyle sınırlı olması ve fiyatlandırmanın açıklanmamış olması ise production planlaması yapanların takvimlemesi gereken iki belirsizlik.
