• DİKKAT !

    Forum içeriğine ve tüm hizmetlerimize erişim sağlamak için foruma kayıt olmalı ya da giriş yapmalısınız. Foruma üye olmak Dosya Yükleme tamamen ücretsizdir.

    Giriş yap veya Şimdi kayıt ol

Çözüldü Veri analizi

Bu konu çözüldü olarak işaretlenmiştir. Çözülmediğini düşünüyorsanız konuyu rapor edebilirsiniz.
Durum
Konu Çözümlendiği İçin Kapatılmıştır.
K

Kokorecci

Yeni Üye
Katılım
16 Nis 2021
Mesajlar
478
Aldığı beğeni
68
Excel V
Office 2016 TR
Konu Sahibi
Merhaba ustalar data olarak excel de oluşturduğum veri var ve bunu analiz ettirmek amacım fakat excel de vba ile yapılan istatiksel analiz çok satır olduğu için excel bunu kaldırmıyor örnek bazen 400 bin satır bazende 1 milyondan fazla olabiliyor exceli veri tabanı olarak kullanırsak ve bu analizi hızlı ve doğru program. Dili nedir
 
Çözüm
E
Sayın Kokorecci
Sizin sorunuz veri hızlandırma ile ilgiliydi.
Bu konuda yazılabilecekler yazıldı.
Aslında konu bu şekliyle de kapandı.
Bundan sonrasını ayrı bir başlık altında sormanız en uygunu.
Bunun için iyi bir tasarım ve plan yapıp sorularınızı
3,8 mb lik dosyalarla değil çok daha küçük hacimli örnek dosyalarla
sorabilirsiniz. Şu dosyada 50 satır için yazılan kod
1000 satırda farklı sonuç vermez.
İlk sorunuz tekrar ediyorum ayrı bir başlıkta
bu verileri Accesse nasıl aktaracağınız ile ilgili olsun.
Ya değilse bu konu burda darmadağın olur.
Yine de bir iki kelam edeyim ve konuyu kapatalım.

1) 3,8 Mb lik bir Excel dosyası ile çalışmayın.
Accesse alın demiştim zaten.
A sütununda MAÇ İDE sizin benzersiz değeriniz olsun...
Tarihe göre sırala Oylara göre sırala
Belki python ile bir çalışma yapılabilir
Kokorecci' Alıntı:
Merhaba ustalar data olarak excel de oluşturduğum veri var ve bunu analiz ettirmek amacım fakat excel de vba ile yapılan istatiksel analiz çok satır olduğu için excel bunu kaldırmıyor örnek bazen 400 bin satır bazende 1 milyondan fazla olabiliyor exceli veri tabanı olarak kullanırsak ve bu analizi hızlı ve doğru program. Dili nedir
Genişletmek için tıkla...
 
Olumlu oy 0 Negatif oyla
1) Tablolarınızı Accesde tuttabilirsiniz.
Excelde işleyebilirsiniz.
1 milyon satırlık bir tablonun 2 sütunu ile
işlem yapacaksanız o 2 sütunu çekersiniz.

2) Exceldeki sorgulamalarınızı dizilerle, dictionary ile ve
ADO ile yapın. Duruma göre PivotTable kullanın.
Accesden onlarca tabolodan veri çekmek için
ayrı ayrı ADO kodları yazmaktansa veri çekmek için şablon bir kod yazın.

Ben ayrı bir sayfada
TABLO_ADI KLASÖR_YOLU DOSYA_ADI SÜTUN_BAŞLIKLARI
...
....

biçiminde bir tablo oluşturdum.
Tek bir makroyla istediğim dosyadan istediğim tabloyu
istediğim kısıtlamayla alabiliyorum.
Atıyorum 10 sütunluk bir tablonun 2 sütunu ile işlem yapacaksam
bu şekilde 8 sütunu haybeye Excelde tutmuyorum.

Bütün bunlar sizin Excel performanasınıza epeyce katkıda bulunacaktır.
Ha bir de gereksiz biçimlendirmelerden kurtulun.
Kolay gelsin.
 
Olumlu oy 0 Negatif oyla
Kokorecci dayımın dataları öyle 2 sütunluk değil futbol maç dataları maç sonuçları maçlara verilen oranlar kodlar hemen hemen 60-70 sütunluk veri ve milyonluk data, girilecek oranlara göre filtreleme yapılmasını yüzdelik olarak hesaplanmasını ve hatta ms tahminleri yapmasını isteyecektir.
 
Olumlu oy 0 Negatif oyla
Merhaba.
Excel Scripting.Dictionary yada Excel Power Query ile de işlem yapabilirsiniz.
Verileri Access yada başka bir veri tabanında ise Power Query benim favorim. Kendisi birçok işi hallediyor çünkü. Hatta çektiği verilerde hesaplamalar yapacaksa onları bile tanımlayabiliyorsunuz.

Bu bağlantı ziyaretçiler için gizlenmiştir. Görmek için lütfen giriş yapın veya üye olun.
 
Olumlu oy 0 Negatif oyla
1.) Veri analizi yapılacaksa kodlama dili olarak Python kullanıyorlar genelde.
2.) Hem ücretsiz olması hem hızlı olması sebebiyle Database olarak excel yerine MS SQL Server kullanılabilir.
3.) Doğru yerde doğru indexleri kullanırsak yapılan sorgular için milyon değil milyar tane de satır kullanılsa performansa etkisi milisaniyeleri geçmiyor.

c#, Java gibi dillere göre Python görece biraz daha yeni bir dil olduğu için bilen ve yardım edebilecek kişi sayısı kaçtır bilmiyorum tabi.
 
Olumlu oy 0 Negatif oyla
Konu Sahibi
SNNAY' Alıntı:
Kokorecci dayımın dataları öyle 2 sütunluk değil futbol maç dataları maç sonuçları maçlara verilen oranlar kodlar hemen hemen 60-70 sütunluk veri ve milyonluk data, girilecek oranlara göre filtreleme yapılmasını yüzdelik olarak hesaplanmasını ve hatta ms tahminleri yapmasını isteyecektir.
Genişletmek için tıkla...
Usta. Sen bu konuda bana yardımcı olurmusun
 
Olumlu oy 0 Negatif oyla
Konu Sahibi
Kokorecci' Alıntı:
Usta. Sen bu konuda bana yardımcı olurmusun
Genişletmek için tıkla...
Yaklaşık 200 sütün sabit ama satır devamlı çoğalır şu an 100 bin tek maç analizi için örnek galatasaray Fenerbahçe maçının oransal analizi yaklaşık 8 bin satırlık bir analiz çıktısı ve aynı şekilde de kodsal analiz çıktısı 13bin satır toplamda bit maçın 21 bin satırlık bir analiz çıktısı düşünürsek bir günlük 100 maç olduğunu 21000*100=2.100 bin satırlık bir analiz yani bir maça ne kadar oran açıldıysa o şekilde sonuç verisi olacak. Ücretli olarak bu işi yaparmıyız ama işte excel de olmuyor çoğu kişide power bi de diyorlar ama konuda ben bilmiyorum vo konuda yardımcı olacak ustalar varsa sevinirim
 
Olumlu oy 0 Negatif oyla
Kokorecci' Alıntı:
Yaklaşık 200 sütün sabit ama satır devamlı çoğalır şu an 100 bin tek maç analizi için örnek galatasaray Fenerbahçe maçının oransal analizi yaklaşık 8 bin satırlık bir analiz çıktısı ve aynı şekilde de kodsal analiz çıktısı 13bin satır toplamda bit maçın 21 bin satırlık bir analiz çıktısı düşünürsek bir günlük 100 maç olduğunu 21000*100=2.100 bin satırlık bir analiz yani bir maça ne kadar oran açıldıysa o şekilde sonuç verisi olacak. Ücretli olarak bu işi yaparmıyız ama işte excel de olmuyor çoğu kişide power bi de diyorlar ama konuda ben bilmiyorum vo konuda yardımcı olacak ustalar varsa sevinirim
Genişletmek için tıkla...
Sayın Kokorecci

Ben 140 lig için veri tutuyorum.
Bunlar için poisson dağılımı, regression şu bu
istatistik işlemler yapıyorum.
Tüm bunların sonunda tahmin işlemlerini
ve tahmin seçim işlemlerini bir dizi fonksiyonla Excele yaptırıyorum.
Bu tahminlerin de isabet istatistiğini tutuyorum bir yandan.
Ve tüm bu işlemlerin sonucunda en büyük Excel dosyam 1mb dir.
Benim için 1mb nin üstündeki dosyalar çöp dosyadır.
Elimden geldiğince bu prensiple çalışıyorum.
Kısaca Excel candır , doğru kullanırsanız işinizi görür. :)
Kolay gelsin.
 
Olumlu oy 0 Negatif oyla
İşin özü excel dosyasını accesse tablo olarak aldırabilirsiniz yada bağlı tablo gibi birşeyle.Sonra access sql sorgularıyla yapabilirsiniz ama önceki konulardaki dosyalarsa mesele büyük mesele neyin ne olduğu belli değildi.
 
Olumlu oy 0 Negatif oyla
Konu Sahibi
excelcan' Alıntı:
Sayın Kokorecci

Ben 140 lig için veri tutuyorum.
Bunlar için poisson dağılımı, regression şu bu
istatistik işlemler yapıyorum.
Tüm bunların sonunda tahmin işlemlerini
ve tahmin seçim işlemlerini bir dizi fonksiyonla Excele yaptırıyorum.
Bu tahminlerin de isabet istatistiğini tutuyorum bir yandan.
Ve tüm bu işlemlerin sonucunda en büyük Excel dosyam 1mb dir.
Benim için 1mb nin üstündeki dosyalar çöp dosyadır.
Elimden geldiğince bu prensiple çalışıyorum.
Kısaca Excel candır , doğru kullanırsanız işinizi görür. :)
Kolay gelsin.
Genişletmek için tıkla...
peki örnek bir dosya atsam sizin mantığı uygulayabilirmiyiz mumkunmudur?
 
Olumlu oy 0 Negatif oyla
Konu Sahibi
excelcan' Alıntı:
Sayın Kokorecci

Ben 140 lig için veri tutuyorum.
Bunlar için poisson dağılımı, regression şu bu
istatistik işlemler yapıyorum.
Tüm bunların sonunda tahmin işlemlerini
ve tahmin seçim işlemlerini bir dizi fonksiyonla Excele yaptırıyorum.
Bu tahminlerin de isabet istatistiğini tutuyorum bir yandan.
Ve tüm bu işlemlerin sonucunda en büyük Excel dosyam 1mb dir.
Benim için 1mb nin üstündeki dosyalar çöp dosyadır.
Elimden geldiğince bu prensiple çalışıyorum.
Kısaca Excel candır , doğru kullanırsanız işinizi görür. :)
Kolay gelsin.
Genişletmek için tıkla...
bu küçük bir data 01-06-2024- ile 12-06-2024arası bir veri ama aslında cokk 2022-ile2024
 

Ekli dosyalar

Bu konu çözüme ulaşmıştır yüklü dosyaları indirmek için Bronz üye olunuz.
Bu dosyayı indirmek için yetkiniz bulunmamaktadır.
Olumlu oy 0 Negatif oyla
Sayın Kokorecci
Sizin sorunuz veri hızlandırma ile ilgiliydi.
Bu konuda yazılabilecekler yazıldı.
Aslında konu bu şekliyle de kapandı.
Bundan sonrasını ayrı bir başlık altında sormanız en uygunu.
Bunun için iyi bir tasarım ve plan yapıp sorularınızı
3,8 mb lik dosyalarla değil çok daha küçük hacimli örnek dosyalarla
sorabilirsiniz. Şu dosyada 50 satır için yazılan kod
1000 satırda farklı sonuç vermez.
İlk sorunuz tekrar ediyorum ayrı bir başlıkta
bu verileri Accesse nasıl aktaracağınız ile ilgili olsun.
Ya değilse bu konu burda darmadağın olur.
Yine de bir iki kelam edeyim ve konuyu kapatalım.

1) 3,8 Mb lik bir Excel dosyası ile çalışmayın.
Accesse alın demiştim zaten.
A sütununda MAÇ İDE sizin benzersiz değeriniz olsun.
Kontrol ettim. Tekrar yok. Arama taramalarınızı bu birim üzerinden yapabilirsiniz.
Accesde bu birim üzerinden ilişkilendirebilirsiniz. vs.

2) Dosya 2 ana başlıkta bölümlenmiş. 1.kısmı anladım.
Orda oranlar var. Maç bilgileri var. vs.
HA sütunundan sonraki 2.kısmı anlamadım. Ordaki tamsayılar nedir ne ifade eder bilmiyorum.
Sonuçta burası da MAÇ İDE ile ilişkilendirilerek ayrı bir tablo olarak tasarlanabilir.
B-C-D-E sütunları gereksiz. Q sütununda zaten tarih var.
Metin olan sayılar var. Onlar sayıya çevrilecek.

Accese aktarma yaparken sıkıntı çekeceğiniz aşikar.
Ama bu bir defaya mahsus olur. Ondan sonra çok kolay çalışmaya başlarsınız.
Önce altyapı. Her zaman altyapı.
Sonuçta hangi proğramı kullanırsanız kullanın.
Hepsinin kendine özgü işlem prosedürü var.
Bu prosedürleri uygulamazsanız sonuç-verim alamazsınız.
Excel bunların içinde en basiti.
Önce bir Acces dosyası hazırlayın.
Sonra sorunuzu ayrı bir başlık altında sorun.
Bu konuda çok daha iyi öneriler , çözümler gelecektir.
Kolay gelsin.
 
Olumlu oy 1 Negatif oyla
Çözüm
Konu Sahibi
excelcan' Alıntı:
Sayın Kokorecci
Sizin sorunuz veri hızlandırma ile ilgiliydi.
Bu konuda yazılabilecekler yazıldı.
Aslında konu bu şekliyle de kapandı.
Bundan sonrasını ayrı bir başlık altında sormanız en uygunu.
Bunun için iyi bir tasarım ve plan yapıp sorularınızı
3,8 mb lik dosyalarla değil çok daha küçük hacimli örnek dosyalarla
sorabilirsiniz. Şu dosyada 50 satır için yazılan kod
1000 satırda farklı sonuç vermez.
İlk sorunuz tekrar ediyorum ayrı bir başlıkta
bu verileri Accesse nasıl aktaracağınız ile ilgili olsun.
Ya değilse bu konu burda darmadağın olur.
Yine de bir iki kelam edeyim ve konuyu kapatalım.

1) 3,8 Mb lik bir Excel dosyası ile çalışmayın.
Accesse alın demiştim zaten.
A sütununda MAÇ İDE sizin benzersiz değeriniz olsun.
Kontrol ettim. Tekrar yok. Arama taramalarınızı bu birim üzerinden yapabilirsiniz.
Accesde bu birim üzerinden ilişkilendirebilirsiniz. vs.

2) Dosya 2 ana başlıkta bölümlenmiş. 1.kısmı anladım.
Orda oranlar var. Maç bilgileri var. vs.
HA sütunundan sonraki 2.kısmı anlamadım. Ordaki tamsayılar nedir ne ifade eder bilmiyorum.
Sonuçta burası da MAÇ İDE ile ilişkilendirilerek ayrı bir tablo olarak tasarlanabilir.
B-C-D-E sütunları gereksiz. Q sütununda zaten tarih var.
Metin olan sayılar var. Onlar sayıya çevrilecek.

Accese aktarma yaparken sıkıntı çekeceğiniz aşikar.
Ama bu bir defaya mahsus olur. Ondan sonra çok kolay çalışmaya başlarsınız.
Önce altyapı. Her zaman altyapı.
Sonuçta hangi proğramı kullanırsanız kullanın.
Hepsinin kendine özgü işlem prosedürü var.
Bu prosedürleri uygulamazsanız sonuç-verim alamazsınız.
Excel bunların içinde en basiti.
Önce bir Acces dosyası hazırlayın.
Sonra sorunuzu ayrı bir başlık altında sorun.
Bu konuda çok daha iyi öneriler , çözümler gelecektir.
Kolay gelsin.
Genişletmek için tıkla...
teşekürler ustam
 
Olumlu oy 0 Negatif oyla
Durum
Konu Çözümlendiği İçin Kapatılmıştır.
Geri
Üst