İçeriğe geç
Docsimum
Menüyü aç veya kapat

Yerel yapay zeka nedir? Kurum verisi için neden önemlidir?

Kısaca: Yerel yapay zeka, dil modelinin bir bulut servisinde değil, kurumun kendi sunucusunda çalışması demektir. Belgeler işlenmek için kurum dışına gönderilmez. Bunun karşılığında kurum kendi donanımını kullanır ve çok büyük bulut modelleri yerine daha küçük, açık modellerle çalışır.

Yerel yapay zeka ne demek?

ChatGPT gibi araçları kullandığınızda yazdığınız metin, sağlayıcının veri merkezindeki bir modele gönderilir. Buna bulut yapay zeka denir.

Yerel yapay zeka (İngilizce on-premise AI veya local LLM) ise modelin sizin denetiminizdeki bir sunucuda çalışmasıdır. Model dosyası bir kez indirilir; sonrasında bütün işlem kendi donanımınızda yapılır. Bunu mümkün kılan, son yıllarda yayımlanan açık dil modelleri ve bunları çalıştıran Ollama, vLLM gibi model sunucularıdır.

Kurum belgeleri için neden önemli?

Bir doküman yönetim sisteminde yapay zeka, kurumun en hassas içeriğini okur: faturalar, sözleşmeler, personel dosyaları, sağlık raporları. Bu belgeleri bulut yapay zekaya göndermek şu soruları doğurur:

  • Veri nerede işleniyor? Sunucu çoğu zaman yurt dışındadır.
  • Veri saklanıyor mu, ne kadar süre?
  • Model eğitiminde kullanılıyor mu?
  • Sağlayıcı koşullarını değiştirirse ne olur?

Yerel yapay zekada bu sorular ortadan kalkar: veri kurumdan çıkmaz.

Karşılaştırma

Bulut yapay zeka Yerel yapay zeka
Verinin işlendiği yer Sağlayıcının sunucusu Kurumun sunucusu
Maliyet yapısı Kullanıma göre (metin miktarı) Donanım yatırımı; kullanım ücreti yok
Model gücü En büyük modeller Daha küçük, açık modeller
İnternet Gerekli Gerekli değil
KVKK (yurt dışına aktarım) Ayrıca değerlendirilmeli Aktarım yok
Kurulum Hazır Sunucu ve model kurulumu gerekir

Dürüst olalım: yerel modellerin sınırı

Yerel çalışan modeller, en büyük bulut modellerinden küçüktür. Genel kültür sorularında, uzun ve karmaşık akıl yürütmede geride kalabilirler.

Ancak doküman yönetimindeki işler dar ve iyi tanımlıdır: bu belge hangi türden, fatura numarası nedir, tarihi nedir? Bu tür işlerde küçük modeller yeterli sonuç verir, özellikle yazılım modeli doğru yönlendirir ve çıktısını denetlerse.

Doğrulama, modelin gücünden daha önemlidir

Hangi model kullanılırsa kullanılsın hata yapabilir. Önemli olan yazılımın bu hatayı yakalayacak biçimde tasarlanmasıdır. Docsimum’un yaklaşımı:

  1. Çıktı biçimi zorunludur. Model serbest metin değil, alan tanımlarına uygun yapılandırılmış veri üretir.
  2. Değer doğrulanır. Tarih alanına tarih, sayı alanına sayı gelmelidir; uymayan değer atılır.
  3. Değer belgede aranır. Modelin bulduğu değer belgenin metninde birebir geçiyor mu? Geçmiyorsa “kontrol edin” diye işaretlenir.
  4. Yeri gösterilir. Kullanıcı değerin belgedeki yerini görür.
  5. İnsan onaylar. Kullanıcı onaylamadan hiçbir değer kayda yazılmaz.

Bu beş adım, modelin uydurduğu bir değerin fark edilmeden arşive girmesini engeller.

Maliyet açısından

Bulut yapay zekada maliyet belge sayısıyla birlikte artar ve geçmiş arşivi toplu işlemek pahalı olabilir. Yerel yapay zekada maliyet donanımdır; bir kez kurulduktan sonra kaç belge işlendiği maliyeti değiştirmez. Belge hacmi yüksek kurumlarda bu fark belirgindir.

Kimler yerel yapay zekayı tercih etmeli?

  • Kişisel veri, sağlık verisi veya ticari sır içeren belgeleri işleyen kurumlar
  • Verisini yurt dışına çıkarmak istemeyen veya çıkaramayan kurumlar
  • Kapalı ağda çalışan kurumlar
  • Belge hacmi yüksek olup kullanım başına ücret ödemek istemeyenler

Docsimum’un yerel yapay zekayı nasıl kullandığı: Yapay zeka ile doküman tanıma, yapay zeka ile kayıt ve dokümanlara sor.

Sık sorulan sorular

Yerel yapay zeka ile bulut yapay zeka arasındaki fark nedir?

Bulut yapay zekada metniniz internet üzerinden sağlayıcının sunucusuna gider, orada işlenir ve cevap geri gelir. Yerel yapay zekada model sizin sunucunuzda çalışır; metin ağınızdan çıkmaz.

Yerel yapay zeka için hangi donanım gerekir?

Dil modelleri en verimli biçimde ekran kartında (GPU) çalışır. Gereken donanım, seçilen modelin büyüklüğüne ve işlenecek belge hacmine bağlıdır. Küçük modeller tek bir GPU'lu sunucuda çalışır.

Yerel modeller Türkçe belgeleri anlayabiliyor mu?

Güncel açık modellerin çoğu çok dillidir ve Türkçe metni işleyebilir. Başarı modele ve işe göre değişir; bu yüzden modelin çıktısını doğrulayan ve kullanıcı onayına sunan bir yazılım tasarımı önemlidir.

Yerel yapay zeka internet bağlantısı gerektirir mi?

Hayır. Model bir kez sunucuya yüklendikten sonra internet olmadan çalışır. Kapalı ağlarda kullanılabilir.

Docsimum hangi yapay zekayı kullanıyor?

Docsimum, OpenAI uyumlu yerel model sunucularıyla (Ollama veya vLLM) çalışır ve bu sunucularda çalışan açık modelleri kullanır. Dış bir yapay zeka servisine bağlanmaz.

Son güncelleme:

İlgili sayfalar

Yapay zeka ile kayıt

Docsimum fatura no, tarih, tutar, firma gibi alanları belgeden yapay zeka ile okur, formu doldurur ve her değerin belgedeki yerini gösterir. Onay sizde kalır.

Güvenlik ve KVKK

Docsimum'da dosyalar AES-256-GCM ile şifrelenir, kurum verileri veritabanı düzeyinde ayrılır, işlem kaydı değiştirilemez ve yapay zeka verinizi dışarı çıkarmaz.

KVKK ve doküman yönetimi

KVKK belge arşivinizi nasıl etkiler? Kişisel veri içeren belgelerde erişim kısıtlaması, kayıt tutma, şifreleme, saklama süresi ve yapay zeka.

Docsimum’u kendi belgelerinizle görün

Yarım saatlik bir demoda kendi fatura, sözleşme veya formunuzu yükleyin; yapay zekanın neyi nasıl okuduğunu birlikte görelim.