.Pirátská strana » Technický odbor

Jako use case je, aby si z toho tahala data Metabase na metabase.pirati.cz, takže by šlo po dohodě s Andrejem udělat i nějaký omezení na IP apod., pokud chceme být extra paranoidní.

Stanislav Stipl napsal:

Ahoj,

určitě najdeme způsob, jak Ti data zpřístupnit, ale určitě nebudeme vystavovat SQL server na internet. Na tom je myslím shoda i s Andrejem.

Začnu od nejjednodušší možnosti - pomohlo by Ti csv?

Já chci, abych se nemusel každej měsíc třeba takhle doprošovat o data, takže chci zdroj dat, kde uvidím vždy aktuální stav. CSV je na prd, protože tahat si odněkud CSV Metabase neumí.

Podporuje tyhle DB (případně cokoli jinýho, co má JDBC driver, ale je to zbytečnej oser IMO):

• BigQuery
• Druid
• Google Analytics
• H2
• MongoDB
• MySQL
• PostgreSQL
• Presto
• Amazon Redshift
• Snowflake
• Spark SQL
• SQLite
• SQL Server

Samozřejmě CSV se dá snadno překlopit do SQLite a pushovat pravidelně někam na server, kde běží Metabase a pak to propojit, no, ale přijde mi jednodušší prostě nahodit nějakýho uživatele s minimálníma opravěníma a klidně ten server navíc vystavit Metabase, nemusí to být vidět do veřejného Internetu.

Nebo by šlo udělat separátní analytickou databázi jako datový sklad a tam data z provozní databáze replikovat, což je taky možný a brání to excesům, jako, že by Metabase nějak přetížila provozní DB.

no, spis bych videl na nejaky REST endpoint ktery by neposkytoval zadne konkretni data, ale jen statisticke. u ukoncenych clenu je to zajimavejsi, protoze nejsou v databazi clenu :)

Stanislav Štipl otevreni databaze smeren na internet to neni, protoze metabase bezi na nasich serverech. nicmene, pristup uplne cizi aplikace jenom kvuli statistice k produkcni databazi clenu se mi stejne nezda ani jako trochu dobry napad. jako kompromisni reseni vidim, ze bude vytvorena samostatna databaze (kdyz uz metabase nepodporuje zadne zdroje krome databazovych), dle doporuceneho vzoru, a ten budeme plnit nejakymi statistickymi daty.

OK, Frantiskovo podani mi vyznelo v tom smyslu, ze chce pristupovat odnekud zvenku. Pokud je to zevnitr, tak bych v read-only pristupu omezenem na konkretni sloupce tabulky, problem nevidel.

Myslím, ze Frantisek nepotrebuje jiz agregovana data, ale naopak data surova, a nevidim problem mu je poskytnout. Jmena clenu, jejich prislusnost ke sdruzenim a datum prijeti jsou dokonce verejne udaje. Slozitejsi je to u ukoncenych clenu, ale i tam mame duvod ke zpracovani.

Vlastne jmena ani k tomuto ucelu nejspis potreba nejsou.

no, vlastne, aktualne by to bylo zvenku, protoze metabase je na novych serverech... nicmene ta replika ze zalohy...

Andreji, Stando, mohli byste to tedy dokončit? Předat důvěrná data (jmeno, přijmení, začátek, ukončení členství, ...) z jednoho našeho systému do druhého?

Ondřej Profant napsal:

Andreji, Stando, mohli byste to tedy dokončit? Předat důvěrná data (jmeno, přijmení, začátek, ukončení členství, ...) z jednoho našeho systému do druhého?

Já bych rozporoval, že jde o důvěrná data. Seznam členů máme veřejný a kdyby si to někdo pravidelně scrapoval, tak ví i kdy kdo vstoupil a vystoupil.

František Navrkal napsal:

Ondřej Profant napsal:

Andreji, Stando, mohli byste to tedy dokončit? Předat důvěrná data (jmeno, přijmení, začátek, ukončení členství, ...) z jednoho našeho systému do druhého?

Já bych rozporoval, že jde o důvěrná data. Seznam členů máme veřejný a kdyby si to někdo pravidelně scrapoval, tak ví i kdy kdo vstoupil a vystoupil.

doporucil bycjh nemichat dohromady data v databazi a data zobrazovana na foru. ty prvni duverna data obsahuji (datumy narozeni, adresy, telefony, a t.d.), ta na foru uz ne. jinak, scrapovani foru je zbytecny, kdyz mame ta data zpristupnene ve strojove zpracovatelnem formatu: https://graph.pirati.cz/deadbeef-babe-f002-000000000047/members

S Andrejem to resime (primo a hned, mam na nej cislo :-)), ale je to trochu slozitejsi, nez to vypada.

Frantisku, potrebujes nejaky unikatni identifikator clena, nebo ti staci datum vzniku clenstvi, ukonceni clenstvi, ks a ms? plus pripadne udaje o pozastaveni clenstvi

A jak dlouho do minulosti potrebujes ukoncene cleny? Nemame kompletni historicke udaje.

Stanislav Stipl napsal:

Frantisku, potrebujes nejaky unikatni identifikator clena, nebo ti staci datum vzniku clenstvi, ukonceni clenstvi, ks a ms? plus pripadne udaje o pozastaveni clenstvi

Unikátní identifikátor by se hodil, protože může nastat shoda jmen. Pozastavení členství je taky podstatný, určitě.

Stanislav Stipl napsal:

A jak dlouho do minulosti potrebujes ukoncene cleny? Nemame kompletni historicke udaje.

Co nejvíc.

František Navrkal napsal:

Stanislav Stipl napsal:

Frantisku, potrebujes nejaky unikatni identifikator clena, nebo ti staci datum vzniku clenstvi, ukonceni clenstvi, ks a ms? plus pripadne udaje o pozastaveni clenstvi

Unikátní identifikátor by se hodil, protože může nastat shoda jmen. Pozastavení členství je taky podstatný, určitě.

pockej, ty chces i jmena?

Andrej Ramašeuski napsal:

František Navrkal napsal:

Stanislav Stipl napsal:

Frantisku, potrebujes nejaky unikatni identifikator clena, nebo ti staci datum vzniku clenstvi, ukonceni clenstvi, ks a ms? plus pripadne udaje o pozastaveni clenstvi

Unikátní identifikátor by se hodil, protože může nastat shoda jmen. Pozastavení členství je taky podstatný, určitě.

pockej, ty chces i jmena?

No vlastně asi stačí nějaký unikátní identifikátory, ale stejně to jsou veřejné informace, tak cajk tak jako tak, ne?

František Navrkal napsal:

Andrej Ramašeuski napsal:

František Navrkal napsal:

Stanislav Stipl napsal:

Frantisku, potrebujes nejaky unikatni identifikator clena, nebo ti staci datum vzniku clenstvi, ukonceni clenstvi, ks a ms? plus pripadne udaje o pozastaveni clenstvi

Unikátní identifikátor by se hodil, protože může nastat shoda jmen. Pozastavení členství je taky podstatný, určitě.

pockej, ty chces i jmena?

No vlastně asi stačí nějaký unikátní identifikátory, ale stejně to jsou veřejné informace, tak cajk tak jako tak, ne?

jmena verejne jsou, jmena v kombinaci s aktivitama ve strane uz tak uplne ne. at radsi odbornik na gdpr Ondřej Profant me opravi, kdyz se mylim

Jmena stavajicich clenu urcite verejna jsou. Jmena byvalych clenu jsou sice take verejna (protoze byla zverejnena v dobe, kdy byli clenove), nicmene z hlediska ochrany osobnich udaju je to slozitejsi, viz https://www.pirati.cz/o-nas/ochrana-osobnich-udaju/#5-%C3%BA%C4%8Del-pr%C3%A1vn%C3%AD-d%C5%AFvody-a-doby-zpracov%C3%A1n%C3%AD-osobn%C3%ADch-%C3%BAdaj%C5%AF

definitivne upresnim. staci pro statisticke ucely nasledujici anonymni udaje:

• datum prijeti
• datum ukonceni clenstvi
• datum pozastaveni clenstvi
• datum obnoveni clenstvi
• KS
• MS

nebo je potreba neco navic?

Andrej Ramašeuski napsal:

definitivne upresnim. staci pro statisticke ucely nasledujici anonymni udaje:

• datum prijeti
• datum ukonceni clenstvi
• datum pozastaveni clenstvi
• datum obnoveni clenstvi
• KS
• MS

nebo je potreba neco navic?

No ještě by se hodilo něco jako ten unikátní identifikátor.