Mój podpis max 100 zanaków,
zabroniony spam oraz reklama.

1. Słusznie mało precyzyjnie napisałem. , jenot 10/02/15 08:48
   Za kilka minut podam link do przykładu.

   Mój podpis max 100 zanaków,
   zabroniony spam oraz reklama.

1. Więcej szczegółów tutaj , jenot 10/02/15 11:09
   http://bazydanych666.cba.pl/baza_szukanie.zip
   
   No i jeden mały skromny warunek czasy wszelkich odpowiedzi muszą być mniejsze niż 150 milisekund :-)

   Mój podpis max 100 zanaków,
   zabroniony spam oraz reklama.

2. W moim przypadku problemem nie jest szybkość dostępu do danych , jenot 10/02/15 11:17
   a wolne wykonywanie warunków i procedur składowanych w MySQL.

   Mój podpis max 100 zanaków,
   zabroniony spam oraz reklama.

   1. Jeszcze nie zaglądałem w tego zipa ale mam podejrzenie , ptoki 10/02/15 11:32
      że tam jest nagrzebane i gwożdzie są wbijane kombinerkami.
      
      Wieczorem zajrze i obadam co tam za pokrak jest ukulany...
      1. Gwarantuję Ci, że temat nie jest taki łatwy jak się wydaje. , jenot 10/02/15 11:55
         Nie bez powodu szukam specjalisty. Sam programuję a na co dzień pracuję z tymi bazami. Na swoje potrzeby zaimplementowaliśmy nawet własny silnik w języku kompilowanym, który to zagadnienie mi rozwiązuje poprzez utrzymywanie danych w pamięci RAM. Zaimplementowaliśmy wyszukiwania połówkowe zoptymalizowaliśmy wyszukianie części wspólnych quickSorty itd ... Rozwiązanie wymaga jednak kopiowania danych z bazy do pamięci RAM serwera. Chodzi to wszystko bardzo sprawnie. Zapytania MySQL pod wyprzedziliśmy 100-krotnie. Niestety pojawiała się dodatkowa potrzeba pracy na źródłowej bazie danych. Stąd moje zapotrzebowanie.

         Mój podpis max 100 zanaków,
         zabroniony spam oraz reklama.

Mój podpis max 100 zanaków,
zabroniony spam oraz reklama.

1. Nie wiem dlaczego ale link trzeba skopiować i uruchomić w przeglądarce , jenot 10/02/15 11:16
   w innym przypadku pokazuje się logo CBA...

   Mój podpis max 100 zanaków,
   zabroniony spam oraz reklama.

   1. zabezpiecenie przed hotlinkowaniem , wygrałem 10/02/15 11:26
      jak wykryje referrer obcej strony to blokuje

2. poczytaj o skalowalności , wygrałem 10/02/15 11:25
   bo jak wszystko masz to nikt ci tego nie zaczaruje, raz szybkość serwera (cpu, ram, oraz przepustowość łącza - zapytanie może trwać 15ms, jego odbiór tyle co pozowala połączenie od ciebie do serwera)
   
   Jesli baza jest duża to między innymi wchodzą widoki, indeksy i rzeczy powiązane z działeniem rdbms jak klastry i inne kwestie optymalizacyjne/konserwacyjne które wpływaja na szybkość
   
   Fakt, źle zaprojektowana baza danych może powodowac problemy, ale to trzeba ocenić w zakresie dziedziny którą baza obejmuje, i to czy na pewno baza dobrze pokrywa wyznaczone jej zadanie, czy nie ma jakichś luk z procesu projektowania schematu tabeli
   
   jak co pisz na maila
   pozdrawiam
   
   
   
   1. Właśnie rzecz w tym, że ja nie mam ochoty o tym czytać. , jenot 10/02/15 11:43
      Mam inne równie ciekawe zagadnienia do rozwiązania a za rozwiązanie w/w problemu chcę zapłacić.
      Ja mam świadomość istnienia kosmicznych technologii i atomowych systemów wyszukiwania informacji opartych o matematyczne metody wyszukiwania ...
      
      Szukam człowieka, który robił takie rzeczy zna się na tym i wykona odpowiednie oprogramowanie.
      

      Mój podpis max 100 zanaków,
      zabroniony spam oraz reklama.

      1. skontaktowałem się na miala z profilu , wygrałem 10/02/15 16:38
         jak potrzebujesz dalej pomocy daj znać o szczegółach, powiem ci na ile będe w stanie pomóc
         1. niestety nic nie dostałem , jenot 10/02/15 19:10
            możesz napisać na maciej.szczepanski [ maupa ] gmail ...

            Mój podpis max 100 zanaków,
            zabroniony spam oraz reklama.

            1. poszło , wygrałem 10/02/15 23:02
               pozdrawiam pp

      2. Proste: , ptoki 10/02/15 16:54
         Albo dołożyc indeksy na wszystko (popróbować pojedynczymi i złozonymi) i dodać mnóstwo pamięci dla motoru bazy, albo to powyższe i wymienić CPU na szybsze albo ewentualnie dane układać w 100 tabelek zgodnie z ID kraju i wykonać tyle podzapytań ile jest id kraju w klauzuli.
         
         I w sumie tyle.
         Ale jeśli rezultat jest obszerny to nie ma siły, może sie nie wyrobić w 150ms. Bo przesłanie lub zmontowanie rezultatu może zająć więcej.
         Na szybko licząc:
         10mln * 10 * 4 bajty= 400MB tabelka plus ewentualne indeksy itp.
         Jakby dobrze skonfigurować motor to na 2-4GB ram powinno sprawnie działać...
         1. Oj nie... , jenot 10/02/15 19:14
            Ponieważ w docelowym projekcie kraje do dynamiczne pola a nie słownik.
            Dodatkowo kolumn w tabeli jest ponad 40 ... Indeksowanie to pierwsza rzecz jaką zrobiliśmy. Jednak jak już napisałem wcześniej i w załączniku - problemem nie jest wyszukiwanie sortowanie i grupowanie. Problemem jest konieczność dodanie podczas wyszukiwania warunku, który sprawdza niemal każdy rekord tabeli przeliczając go funkcją, dla której argumentami są wartości z rekordu oraz dodatkowe parametry wyszukiwania.

            Mój podpis max 100 zanaków,
            zabroniony spam oraz reklama.

            1. No to nie bardzo to widzę. , ptoki 10/02/15 21:33
               Przekombinowałeś.
               
               Możesz spróbować wybierać tylko niektóre wiersze i potem liczyc cene i sortować.
               Czyli w zalezności od tego jaką masz funkcje ceny wybierać pierwsze 100-200 wierszy sortowanych po polach które w funkcji ceny będą miały najbardziej pożądane wartości (zakładam że jakoś tam monotonicznie ta cena jest liczona) i w kolejnym podzapytaniu sortować i liczyć cene.
               Całość w mysql powinna się zmieścić.
               
               Jak chcesz tak fikusnie mieć wynik kompletny nie przycięty do podzbioru wierszy to albo mocny komputer albo zupełnie inne podejście trzeba by zastosować...
               1. Nie mogę wybierać niektórych wierszy ... , jenot 10/02/15 21:46
                  jeśli celem jest posortowanie wyników właśnie po tej cenie ..
                  I tu jest cała istota problemu. Właśnie w tej kolumnie cena. Reszta to nie problemy.
                  
                  No i właśnie dlatego szukam specjalisty co to inne podejście mi sprzeda :-)
                  Uważam, że wykorzystałem już wszystkie możliwości i całą swoją wiedzą aby napisać aplikację, która te dane obrabia w RAM. Tak jak napisałem wcześniej to działa jest ok i będzie działać. Wyeliminowałem całkowicie SQL - zresztą SQL nie ma szans dorównać wyspecjalizowanej aplikacji.
                  
                  Niestety wyeliminowanie bazy danych spowodowało powstanie dodatkowych problemów, które mogę rozwiązać jedynie bezpośrednio pracując na bazie danych ( chodzi o aktualność danych ). Tutaj w przypadku SQL czasy wyszukiwania nie muzą być w milisekundach ale też nie mogą trwać po sekundę albo więcej.
                  
                  Myślę, że nie jestem jedynym na świecie, który chce pracować `online` na takiej ilości danych i podejrzewam, że są też ludzie, którzy z takimi rozwiązaniami się spotkali. Ja niestety tych technologii nie znam, nie widziałem ale też nie mam czasu i ochoty na ich poszukiwania bo zwyczajnie `panie nie mam czasu zarobiony jestem` :-)

                  Mój podpis max 100 zanaków,
                  zabroniony spam oraz reklama.

                  1. SAP HANA , komisarz 11/02/15 18:23
                     ìnwestuj 1mln euro i zmnieniaj platforme. Z tego co czytam twoje wymagania sa spelnione out of the box.

                     Komisarz Ryba

                     1. Wymagania nie są szczególne , jenot 11/02/15 22:26
                        bo napisałem aplikacje, która ogarnia to na zwykłym PC. Jednak nie działa bezpośrednio na bazie.

                        Mój podpis max 100 zanaków,
                        zabroniony spam oraz reklama.

https://www.siepomaga.pl/milosz-mosko