SE - Organization - import #23

New Issue

2017-09-19T17:27:15+02:00

Podhorecky commented

2017-09-19 17:27:15 +02:00

(Migrated from git.spotter.cz)

v modulu Organization import

https://dasm.dasm.cz:8443/eden/org/organisation/import
po nahrání XLS

stále padá do chybové hlášky

https://dasm.dasm.cz:8443/eden/admin/ticket/eden/94.230.157.167.2017-09-19.17-01-22.8a64c0f2-8858-436b-b79f-8de8ddaf8728

u ostatních už postupně zkouším importy z templatů,

**všechna importovaná data se dají kdykoliv smazat, nebo kdybyste potřeboval předělat DB, tak se to dá bez obavy zlikvidovat. **

Po importu většího množství dat asi dojde na vyhodnocení co z toho vzniklo, to napíšu zvlášť.

v modulu Organization import https://dasm.dasm.cz:8443/eden/org/organisation/import po nahrání XLS stále padá do chybové hlášky https://dasm.dasm.cz:8443/eden/admin/ticket/eden/94.230.157.167.2017-09-19.17-01-22.8a64c0f2-8858-436b-b79f-8de8ddaf8728 u ostatních už postupně zkouším importy z templatů, **všechna importovaná data se dají kdykoliv smazat, nebo kdybyste potřeboval předělat DB, tak se to dá bez obavy zlikvidovat. ** Po importu většího množství dat asi dojde na vyhodnocení co z toho vzniklo, to napíšu zvlášť.

Disassembler commented

2017-09-19 17:32:54 +02:00

(Migrated from git.spotter.cz)

Prosím o přiložení importovaného XLS. Sahana se snaží z názvu obrázku udělat URL, takže tady to vypadá na nějaké zmatení sloupců nebo jejich hodnot.

Podhorecky commented

2017-09-19 17:36:39 +02:00

(Migrated from git.spotter.cz)

3_Organizace_CZ.xls.xlsx

to s tim obrázkem je možné... v tom případě musíme najít workaround do doby, než se s obrázky v databázi vypořádáme.
Asi by tedy stačilo importovat tabulku bez sloupce Logo...

[3_Organizace_CZ.xls.xlsx](/uploads/357a212ecc6c91e239796b9e387ec810/3_Organizace_CZ.xls.xlsx) to s tim obrázkem je možné... v tom případě musíme najít workaround do doby, než se s obrázky v databázi vypořádáme. Asi by tedy stačilo importovat tabulku bez sloupce Logo...

Disassembler commented

2017-09-19 18:57:13 +02:00

(Migrated from git.spotter.cz)

Tak je to skutečně tak. Sahana ve sloupci Logo očekává URL k obrázkům ve formátu JPG nebo PNG o maximální velikosti 400 x 400 pixelů. Obrázek si z URL stáhne sama a uloží do default/download/org_organisation.logo.identifikátor.přípona. Obrázky tedy nejsou v databázi, ale jsou uloženy externě.

Prozatím se dá problém odstranit tak, že sloupec Logo přejmenujete třeba na XLogo. Další řešení by pak spočívalo v tom, nahrát loga do nějakého statického úložiště na webu a odkazovat na ně. Předpokládám, že ve finálním stavu stejně budou již nahrány ve VM, takže by se takové úložiště dalo vyrobit i v ní a zajistit tak připadnou znovupoužitelnost log i v jiných aplikacích.

Tak je to skutečně tak. Sahana ve sloupci *Logo* očekává URL k obrázkům ve formátu JPG nebo PNG o maximální velikosti 400 x 400 pixelů. Obrázek si z URL stáhne sama a uloží do *default/download/org_organisation.logo.identifikátor.přípona*. Obrázky tedy nejsou v databázi, ale jsou uloženy externě. Prozatím se dá problém odstranit tak, že sloupec *Logo* přejmenujete třeba na *XLogo*. Další řešení by pak spočívalo v tom, nahrát loga do nějakého statického úložiště na webu a odkazovat na ně. Předpokládám, že ve finálním stavu stejně budou již nahrány ve VM, takže by se takové úložiště dalo vyrobit i v ní a zajistit tak připadnou znovupoužitelnost log i v jiných aplikacích.

Podhorecky commented

2017-09-19 19:22:32 +02:00

(Migrated from git.spotter.cz)

rozumím.. to teoreticky ano.. šlo by jistě nahrát obrázky na úložiště... a pak doplnit URL adresu do připraveného templatu.

Technický problém vidím v náročnosti, bavíme se totiž o počtu cca +/- 15 tisíc obrázků. Všechny už jsou dávno v maximální velikosti 400 x 400 a max. 80kb. Každý jsem editoval a ukládal aby vyhověl použítí v SE.

Pokud popíšu workflow tak, že po uploadu vznikne adresářová struktura v které jsou striktně unikátní názvy každého obrázku, tak musím z každého takového obrázku získat unikátní URL.
To URL pak ručně zkopírovat a pak ručně vložit do XLS template do správné řádky na správné místo.

Pak je naděje, že po importu si Sahana najde URL, stáhne obrázek a uloží do DB. Problem je, že Sahana si každý obrázek přejmenuje na vastní hash řetězec. Takže s lidsky čitelnými názvy pak už nejde počítat.

Zkoušel jsem si představit, kolik kliknutí myší (+ klávesové zkratky + hýbání okny atd) znamená vyřešení jednoho loga.
Dostal jsem se na cca 30 operací.
nyní vynásobíme 15000 x 30 což znamená 450000 kliknutí myší.
Pak bude následovat import a kontrola, že je vše OK. Pokud nebude, udělá se to ručně znova.

Pokud bych obrázky načítal ručně přímo do Sahany po jednom, pravděpodobně by to bylo méně klikání, než výše zmíněným postupem..
Tento odhad mě děsí a já teň bohužel nemám nápad, jak to efektivněji udělat.
Ani programátor mi to udělat nechtěl.
Když jsem se ptal na diskusním fóru jak to vyřešit, tak neurčitá odpověd byla, že "to nějak pujde, ale bude to vyžadovat práci"...

pochopitelně :)

rozumím.. to teoreticky ano.. šlo by jistě nahrát obrázky na úložiště... a pak doplnit URL adresu do připraveného templatu. Technický problém vidím v náročnosti, bavíme se totiž o počtu cca +/- 15 tisíc obrázků. Všechny už jsou dávno v maximální velikosti 400 x 400 a max. 80kb. Každý jsem editoval a ukládal aby vyhověl použítí v SE. Pokud popíšu workflow tak, že po uploadu vznikne adresářová struktura v které jsou striktně unikátní názvy každého obrázku, tak musím z každého takového obrázku získat unikátní URL. To URL pak ručně zkopírovat a pak ručně vložit do XLS template do správné řádky na správné místo. Pak je naděje, že po importu si Sahana najde URL, stáhne obrázek a uloží do DB. Problem je, že Sahana si každý obrázek přejmenuje na vastní hash řetězec. Takže s lidsky čitelnými názvy pak už nejde počítat. Zkoušel jsem si představit, kolik kliknutí myší (+ klávesové zkratky + hýbání okny atd) znamená vyřešení jednoho loga. Dostal jsem se na cca 30 operací. nyní vynásobíme 15000 x 30 což znamená 450000 kliknutí myší. Pak bude následovat import a kontrola, že je vše OK. Pokud nebude, udělá se to ručně znova. Pokud bych obrázky načítal ručně přímo do Sahany **po jednom**, pravděpodobně by to bylo méně klikání, než výše zmíněným postupem.. Tento odhad mě děsí a já teň bohužel nemám nápad, jak to efektivněji udělat. Ani programátor mi to udělat nechtěl. Když jsem se ptal na diskusním fóru jak to vyřešit, tak neurčitá odpověd byla, že "to nějak pujde, ale bude to vyžadovat práci"... pochopitelně :)

Disassembler commented

2017-09-19 20:00:34 +02:00

(Migrated from git.spotter.cz)

Možná nevidím úplně celý problém, ale šel bych na to takto:

Vytvořím adresář, do kterého nacpu všechna loga - chápu z toho, že to už máte
Prásknu ten adresář tak, jak leží a běží, na web, takže obrázek spotter.png bude najednou dostupný na http://12.34.56.78/logo/spotter.png.
Celý sloupec s logy dávkově modifikuji, to se dá udělat buď skriptem nebo přímo v excelu přes nějaké =CONCATENATE("http://12.34.56.78/logo/";Q1) kde Q je sloupec s logy a pak dám kopírovat a vložit hodnoty na sloupec Q čímž jedním mohutným kliknutím udělám ze sloupce názvů sloupec URL.
Předhodím import Sahaně. Pokud některý z obrázků na nenajde, bude nadávat. Názvy, jaké si vyrobí Sahana vás zajímat nemusí, protože pořád budete mít původní zdroj v původním umístění, kde jej mohou využít další aplikace.

Přehlížím něco zásadního? Dneska jsem poněkud pomalejší, takže by mě to zase tolik nepřekvapilo.

Možná nevidím úplně celý problém, ale šel bych na to takto: 1. Vytvořím adresář, do kterého nacpu všechna loga - chápu z toho, že to už máte 2. Prásknu ten adresář tak, jak leží a běží, na web, takže obrázek spotter.png bude najednou dostupný na http://12.34.56.78/logo/spotter.png. 3. Celý sloupec s logy dávkově modifikuji, to se dá udělat buď skriptem nebo přímo v excelu přes nějaké `=CONCATENATE("http://12.34.56.78/logo/";Q1)` kde `Q` je sloupec s logy a pak dám *kopírovat* a *vložit hodnoty* na sloupec Q čímž jedním mohutným kliknutím udělám ze sloupce názvů sloupec URL. 4. Předhodím import Sahaně. Pokud některý z obrázků na nenajde, bude nadávat. Názvy, jaké si vyrobí Sahana vás zajímat nemusí, protože pořád budete mít původní zdroj v původním umístění, kde jej mohou využít další aplikace. Přehlížím něco zásadního? Dneska jsem poněkud pomalejší, takže by mě to zase tolik nepřekvapilo.

Podhorecky commented

2017-09-19 20:48:08 +02:00

(Migrated from git.spotter.cz)

zkusil jsem to s tím uploadem a zdá se, že to u Organizací prošlo. díky.

Má to samozřejmě další okolnosti, které budu muset dotáhnout, ale pro začátek Ok.
Otevřu na to jiné Issues.

zkusil jsem to s tím uploadem a zdá se, že to u Organizací prošlo. díky. Má to samozřejmě další okolnosti, které budu muset dotáhnout, ale pro začátek Ok. Otevřu na to jiné Issues.

Podhorecky commented

2017-09-19 20:48:08 +02:00

(Migrated from git.spotter.cz)

closed

Podhorecky commented

2018-03-14 22:57:43 +01:00

(Migrated from git.spotter.cz)

changed milestone to %2

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Disassembler/Spotter-VM#23