Proje Durumu

KAP bildirimlerinin yapay zekâ ile sınıflandırılması ve fiyat etkisinin ölçülmesi — ne topladık, nerede duruyoruz, hangi sorulara cevap arıyoruz.

KAP bildirimi

6.933

10.10.2023 – 31.12.2023

Şirket

608

BIST'te işlem gören

LLM ile etiketlenen

4.055

tüm bildirimlerin %58,5'i · Gemma-3 12B

1 gün / 1 hafta fiyat verisi

5.254

bildirim · yfinance

Proje aşamaları

  1. 1

    Veri toplama

    MKK VYK API, 6.933 bildirim

    ✓ Tamamlandı

  2. 2

    Fiyat verisi

    yfinance: haber anı, 5dk, 1sa, 1g, 1h

    ✓ Tamamlandı

  3. 3

    LLM etiketleme

    Gemma-3 12B: özet + sentiment + gerekçe

    ✓ Tamamlandı

  4. 4

    Web arayüzü

    KAP Sinyal (FastAPI + Jinja2)

    ✓ Tamamlandı

  5. 5

    Etiket doğrulama

    200 bildirimlik katmanlı örneklem

    ◐ Devam ediyor

  6. 6

    Olay çalışması

    BIST100'e göre anormal getiri + testler

    ○ Planlandı

  7. 7

    Bitirme raporu

    Teslim: 31 Aralık 2026

    ○ Planlandı

Sentiment dağılımı

Geçerli 4.055 Gemma etiketi

Olumlu 1.721 · %42,4
Nötr 2.106 · %51,9
Olumsuz 228 · %5,6

Etiketin kaynağı

Model hangi metni okudu?

PDF eki 2.159 · %53,2
Bildirim metni (PDF yok) 1.703 · %42,0
Tam metin 193 · %4,8

PDF'i okunamayan 567 kayıt varsayılan "Nötr" etiketi aldığı için istatistiklerden çıkarıldı.

Fiyat verisi kapsamı

Bildirim sonrası ölçülen fiyat

Haber anı 5.649 · %81,5
5 dakika sonra 129 · %1,9
1 saat sonra 871 · %12,6
1 gün sonra 5.254 · %75,8
1 hafta sonra 5.254 · %75,8

Bildirim türlerine göre

Kategori Bildirim Etiketli Olumlu Olumsuz
Özel Durum 2.478 1.223 (%49) 633 54
Diğer 1.734 999 (%58) 249 23
Genel Kurul 1.595 909 (%57) 440 20
Finansal Rapor 921 783 (%85) 306 97
Sermaye 154 102 (%66) 79 12
Temettü 51 39 (%76) 14 22

Hedeflerimiz ve cevaplarımız

Bitirme raporunda cevaplanacak araştırma soruları ve bugünkü durumları.

AS-1 Gemma-3'ün ürettiği sentiment etiketleri ne kadar güvenilir?

◐ Devam ediyor

Yöntem

  • •200 bildirimlik katmanlı örneklem (50 Olumsuz · 70 Olumlu · 80 Nötr, sabit seed)
  • •Gemma etiketi gizlenerek ikinci bir LLM ile ön etiket; nihai etiket insan doğrulamasıyla
  • •Confusion matrix, macro-F1, MCC, Cohen's kappa (sınıflar dengesiz olduğu için accuracy değil)
  • •Baseline karşılaştırması (TF-IDF + Lojistik Regresyon veya BERT)
  • •PDF'li / PDF'siz karşılaştırma: PDF içeriğinin katkısı

Şu anki cevap

Ön sonuç: Gemma yönlü sınıfları (Olumlu/Olumsuz) kaçırmıyor (recall ~0,95) ama rutin bildirimleri de yönlü etiketleme eğiliminde (precision 0,39 / 0,48). Nihai metrikler insan doğrulamasından sonra hesaplanacak.

macro-F1

0,637

MCC

0,520

Cohen's kappa

0,440

SınıfPrecisionRecalln
Olumlu 0,39 0,96 24
Nötr 0,98 0,57 116
Olumsuz 0,48 0,93 15

⚠ Ön sonuç (06.10.2026, n=155, Finansal Rapor hariç): Gemma etiketleri LLM ön etiketleriyle karşılaştırıldı. İnsan doğrulaması tamamlanmadan model doğruluğu olarak yorumlanmamalı.

AS-2 Sentiment etiketi bildirim sonrası fiyat hareketiyle ilişkili mi?

◐ Devam ediyor

Yöntem

  • •Anormal getiri: AR = R(hisse) − R(BIST100)
  • •1 günlük ve 1 haftalık kümülatif anormal getiri (CAR)
  • •Seans sonrası bildirimlerde olay günü = sonraki işlem günü
  • •t-testi / Wilcoxon, Kruskal-Wallis, sıralı trend testi (Jonckheere-Terpstra), etki büyüklüğü
  • •Regresyon: CAR ~ sentiment + kategori + şirket büyüklüğü (şirket bazlı kümelenmiş SE)

Şu anki cevap

Ön bulgu: ham getirilerde sıralama beklenen yönde (Olumlu > Nötr > Olumsuz). Piyasa etkisi henüz arındırılmadı ve anlamlılık testi yapılmadı.

SentimentnOrt. 1 günOrt. 1 hafta
Olumlu 1.375 −0,02% −0,38%
Nötr 1.420 −0,43% −1,06%
Olumsuz 206 −1,17% −1,82%

Ham getiri; |1g| ≤ %20 ve |1h| ≤ %40 filtresiyle hatalı fiyat kayıtları dışlandı. BIST100'e göre anormal getiri ve anlamlılık testleri sıradaki adım.

AS-3 Fiyat etkisi bildirim türüne göre değişiyor mu?

○ Planlandı

Yöntem

  • •AS-2 analizinin Özel Durum, Finansal Rapor, Genel Kurul, Sermaye ve Temettü için ayrı tekrarı
  • •Piyasanın hangi bildirim türüne daha güçlü tepki verdiğinin karşılaştırılması

Şu anki cevap

Henüz cevap yok — AS-2 tamamlandıktan sonra.

Bilinen sınırlılıklar