OpenMap Kit - open data collection in-da-box #149
Labels
No Label
app-basic
app-ckan
app-crisiscleanup
app-cts
app-decidim
app-dhis2
app-frontlinesms
app-gnuhealth
app-kanboard
app-mifosx
app-motech
app-odoo
app-opendatakit
app-pandora
app-sahana
app-seeddms
app-sigmah
app-taarifa
app-ushahidi
critical
CZ
documentation
Doing
enhancement
GMaps
info
Mapbox
needinfo
new-app
OSM
performance
QGIS
regression
suggestion
To Do
upstream
No Milestone
No project
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies
No dependencies set.
Reference: Disassembler/Spotter-VM#149
Loading…
Reference in New Issue
Block a user
No description provided.
Delete Branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Info:
http://openmapkit.org/
zdroj
https://github.com/AmericanRedCross/OpenMapKitServer
dokumentace a návod vytváření formulářů:
http://openmapkit.org/docs.html
tohle by v ideálním případě mohlo vyřešit nejistoty s implementací ODK a xforms. další průzkun až po instalaci
mentioned in issue #67
assigned to @Disassembler
dnes jsem byl na prezentaci CRM pro neziskovky, z informací a zkušeností od přítomných vyplynulo, že funkčnost "sběr dat prostřednictvím uživatelsky vytvořených mobilních formulářů" ještě není až tak rozšířená funkce. Ale je relevantní v projektové činnosti.
Mám z toho neostrou dedukci, že představení této funkce může být jedna z dobře hodnocených vlastností při představování funkcí celé VM.
added ~28 and removed ~18 labels
mentioned in issue #46
Asi úplně nerozumím jak má OMK fungovat. Z celého kravského POSM balíku jsem vypreparoval část s OMK a nainstaloval podobným způsobem jako to dělá jejich Dockerfile (strašně nehospodárným, btw). Skončil jsem s tímhle
Můžu stáhnout formulář a mám i volbu pro nahrání template. Nemůžu formulář vyplnit a dost dobře nechápu kam by se vůbec nasbíraná data měla ukládat, protože se při instalaci nikde nenastavuje žádná databáze.
Je to tak OK nebo něco přehlížím? Nebo se to integruje s POSM víc než se na první pohled zdá? V nastavení je totiž zadaná adresa POSM API.
No, tak to já teď taky hned nevim... na téhle straně http://americanredcross.github.io/OpenMapKitWebsite/docs.html evidentně zapomněli dát obsah.
formulář je ve formě xlsx a má nějak zamčenou editaci, nebo proč nelze formulář vyplnit?
template je ve formě jaké?
(soudím, že OMK je customizace ODK směrem k sbírání POI, tj. primárně lokačních dat.) Pokud neporozumíme jak to mysleli s OMK, tak asi bude potřeba začít o level níž s ODK.
Stránka, kterou hledáte, je tu - http://openmapkit.org/docs.html - ale taky mi moc věcí neosvětlila.
Formulář je v XLSX a jde stáhnout. Možná jenom nerozumím rozdílu, co z toho je formulář a co je template.
Stavební instance zde: http://dasm.dasm.cz:3210 tak na to v rycholsti mrkněte a jestli se Vám to bude zdát dle očekávání, dejte vědět a instalaci přebalím, učešu a nacpu na "Vaši" VM. OMK ale bude muset do kontejneru, protože koliduje použitá verze NodeJS s jinými aplikacemi (Crisis Cleanup a GNU Health Sao frontend chtějí NodeJS 8.x, tohle chce 6.x ...zastaralé jsou obě :) )
podívám, ale dnes už nestihnu udělat nějaký výsledek. IMHO to nutně souvisí s androidí xForm spoluprácí. Data přichází odtamtud. XLSX je taková desktopová přípravná fáze pro vytvoření XML, které je na mobilu interpretováno jako rozhraní kam uživatel něco zadá.
Výsledek nevyžadují. Chci teď jen "Ano, něco to dělá" nebo "Ne, háže to errory / chybí tomu backend / nedá se připojit atd.", abych věděl jestli má smysl to, co mám, začít cpát do repozitáře nebo to mám celé zahodit a začít s OSM/ODK nebo úplně jinde.
Tak si odpovím sám. Funguje to, data se ukládají lokálně na disk a ke sběru jsou potřeba jak aplikace OpenMapKit, tak i ODK Collect přičemž celá paráda se spouští přes něj.
Že sběr dat přes mobil nikdo nedělá se ani nedivím, protože s takovými aplikacemi by polní pracovník ten mobil dřív rozkousal, než by vyplnil deset dotazníků. Vyplnil jsem jeden a zabralo mi to asi 5 pokusů. Mírně nepřívětivé UI umocňuje stáří aplikace a fakt, že si dvě aplikace vzájemně musí předat data, což občas prostě selže, protože něco takového jde proti paradigmatům izolace aplikací, na kterých moderní mobilní systémy staví.
Jdu to tedy učesat a nasoukat na Vaši VM.
Tady bych měl asi upřesnit co přesně čekat od OpenMapKit a co obecněji od ODK.
OpenMapKit vznikl jako konkrétní implementace vymyšleného workflow ODK, pro použití v rámci jiného workflow OpenStreetMap a to konkrétněji při skupinovém vytváření a použití krizových map v postižených oblastech. (Vytváření buď online přes portál nebo offline přes balík POSM s následným transportem dat do OSM.)
Je pro mě těžko posouditelné, jak kdo co dělá v jaké situaci. Hlavně z toho důvodu, že jsem to naživo neviděl a nemám žádnou čerstvou informaci od lidí z organizací, kteří by to používali. Jen vím, že to je celkem rozsáhlá činnost, rozvrstvená mezi mnoho různě skillovaných lidí. Velká část jsou dobrovolníci, což je v praxi pomocná síla s nejmenšími skilly, kteří jen plní zadané úkoly.
Z info o OpenMapKit jsem odvodil, že proces "zprovoznění = úplné instalace" je velmi "easy". Samože se mi tomu nechce věřit, nicméně, možná že úsilím lidí z RedCross to je skutečně snadnější, než v případě čisté instalace komponent z webu ODK. A to právě já nevim. Tedy alespoň do chvíle, než dostanu zpětnou vazbu od vás o okolnostech zprovoznění. / ještě se to komplikuje tou naší strukturou VM, kde to chceme dělat efektivně /
V případě OpenMapKitu se tedy (viz tutorial http://openmapkit.org/docs_walkthrough.html ) realizuje workflow, které používá konkrétních tagů z OSM. Po výřezu mapové oblasti se uživatelům poskytne část mapy kterou mají svým popisem otagovat. Když vědí co. Např, názvy místních objektů, nebo situace přímo vztažená ke krizové události. To právě dělají přes formulář, který jim někdo z nadřízené pracovní skupiny připraví. Takže pro koncové streetworkery už není prostor na žádnou uživatelskou kreativitu, prostě popisují co jsou schopni. Výsledek se agreguje a nakonec pošle do OSM.
No a ted ještě kontext s ODK a s tím, co od ODK momentálně čekám já v rámci VM:
ODK je univerzální kit a nemá jedinou vazbu na OpenStreetMap workflow. Tedy obsah formulářů připravených přes XLS libovolně různý. Tedy i na demografické průzkumy, zjišťování stavu ŽP, nebo záznam údajů získaných z nějakých civilizačních situací (např. dopravy, znečištění, v rámci měst / venkova) Ano, jistě existují jiné postupy, ale já o nich nevím pokud má jít o nezávislý FOSS a Linux.
Libovolně různé jsou i potřeby NNO v ČR a i jejich cesty získávání zpětné vazby na jejich otázky od jejich kontaktních skupin. Já bych kokrétním lidem v NNO chtěl předvést na konkrétním (i třeba speciálním) příkladu celý cyklus sběru dat. A současně zdůraznit, že je na nich, k jakým úlohám si to sami připraví.
S tím OMK tedy můžu ukázat jen úlohu popisu mapy, ale to pak musím udělat od začátku do konce. (a tady je právě otázkou co všechno k tomu musím zprovoznit, aby to dělalo ucelený dojem)
Když však zůstanu u předvedení univerzálního formuláře komunikujícího s ODK Collect, tak nebudu používat speciální tagy OSM a vytvořím nějaký primitivní form a ten pošlu. Mělo by to dostatečně ukázat princip.
S tímto procesem i včetně jeho variant (odvozené implementace ODK budu zkoumat zatím pouze velmi povrchně) se chci prozatím seznámit do úrovně pokročilého uživatele.
Je mi jasné, že tu jsou i jiné úrovně, například administrační, ale na ty nyní není čas. Až budeme po první fázi, můžeme hlouběji zkoumat jak se snadněji zabývat failover situacemi u jednotlivých apps uložených na VM. Tj. jak přehledně a rychle zastavovat, restartovat, spouštět, monitorovat procesy, pokud takové procesy neběží/failují.
Jop. Ten proces je super easy. Pokud máte čistou instalaci přesně konkrétní (zastaralé) verze Ubuntu. Jakmile chcete aplikaci integrovat nebo si chcete něco udělat po svém, zdaleka tak easy to není.
Z toho jak masivní platformy American Red Cross má, jsem trochu očekával, že ty aplikace budou po technologické stránce vyspělejší, ale zrovna OMK mě z této domněnky vyvedl. Běží na prehistorické verzi NodeJS a jako závislost má custom python (!) skript, který fakticky zajišťuje převody z XLSX do XML a zpátky. Ten je ještě závislý na jedné jediné posrané Javovské (!!!) utilitě, takže musím instalovat tři různé runtimy a zas to vypadá, jak když pejsek s kočičkou vaří dort.
Neznám sice názvosloví, ale myslím, že ty tagy jsou tam stále použity. OMK je v jen speciální případ ODK, kde se ke sbíraná data přiřazují nějakému PoI na mapě. OMK poskytuje právě ten mechanismus jak je do té mapy píchnout a jinak je to převlečené ODK a všechno se honí přes OSM API.
Dovolím si nesouhlasit. Diverzita aplikací a jejich požadavků (a hlavně bezohlednost programátorů používajících frikulínské technologie) mi dost svazuje ruce už teď, takže jsem nucen všelijak balancovat se závislostmi, případě od instalace s křikem utéct, jako tomu bylo třeba u KoBoToolboxu. Pokud se výše uvedenými tématy budu zabývat už během prvotních fází, nebude se mi všechno sypat pod rukama a budu mít o hodně jednodušší život. Zrovna OMK je už za hranicí, kdy prostě musím něco takového začít řešit, jinak tu aplikaci do stávající VM nejsem schopný kvůli konfliktům integrovat. Takže moje zábava pro následující týden bude spočívat v přepsání a kontejnerizace již napsaných skriptů, abych se mohl pohnout dál.
closed via commit
0f228fb1feOMK experimentálním způsobem nainstalován. Použil jsem stejnou verzi NodeJS jako u ostatních aplikací. Jestli se někde něco rozbilo, tak už to ve stávající (neudržitelné) situaci řešit nebudu a vyřeší se to rozprášením do kontejnerů.
Androidí klienti bohužel odmítají self-signed TLS certifikát, takže uvedená URL je pouze přes HTTP.
Jasné, díky moc!
s tou fází failoveru, jak jsem psal jsme si jen neporozuměli. Naprosto chápu, že to je nevyhnutelné a dost otravné, abyste to dal dohromady. Chtěl jsem jen vyjádřit, že nad rámec toho, co považujete za nezbytnně nutné, nebudu v zájmu úspory času požadovat další činnost, která by vylepšila administrační komfort a přidala další zdobení na dortu.
Ve fázi zdobení nejsme, to vím, takže jen držím palce, abychom se nezastavili na nějaké nepřekonatelné překážce. :)
k tématu jsem rozepsat stranu na wiki, která bude potřeba společně doplnit podle toho, jak už asi máte někde připravené v hlavě. https://git.spotter.cz:8443/Spotter-Cluster/Spotter-Cluster/wikis/Virtual-Machine-architecture
Moje představy jsou pochopitelně méně technické. Chtěl jsem tím naznačit, že to je pro mne důležité. Šťourání v konkrétních bullshitových apps je pouze nepříjemná okolnost, která nám momentálně zpomaluje postup.
Koncem týdne splaším Android tablet, mam u sebe pouze iPhone.
building_placeholders.xlsx
jen pro ukázku, tady v xlsx jsou v záložce "osm" jmenované nějaké tagy pro OMK.
Jen ilustrace, kterou chci sdílet kontext v použití. Pokud máte FB: https://www.facebook.com/OchranaSycka/photos/a.1446572212323702.1073741830.1427287057585551/1906459746334944/?type=3&theater
pokud nemáte FB, převyprávím.
(jsem členem Ornitologické společnosti) a tak některé info jsou pro mne přinejmenším velkou motivací.
jestli tomu dobře rozumím, tak cílovou destinací by měl být ODK Aggregate a tam už se DB nastavuje. Z něj se dají data nakonec exportovat ven v CSV, KML, JSON.
A pak je k instalaci ještě nějaký Briefcase a Validate jako pomocný SW.
kromě ODK Aggregate se vyskytují i jiné alternativy na koncentrování dat. Jeden z nich je údajně https://github.com/qlands/FormShare FormShare, který tvrdí jak je ODK Aggregate špatný a že tedy FormShare bude asi lepší. Mno, těžko soudit, takže zatím se snažím rozkoukat abych se potkal alespoň s některými SW z nepřehledného hejna souvisejícího s ODK...
nebo American RedCross používá https://github.com/SEL-Columbia/formhub FormHub, nějaká prezentace zde https://americanredcross.github.io/mobiledatacollection/materials/presentations/introtoodk/
podobný problém jaký vybrat SW řeší i zde http://craigappl.github.io/Decisions-Decisions/
při čtení tohoto blogu http://craigappl.github.io/archive/ mám pocit, že jsem našel ideového gurua :) který řeší podobné výzvy, jako já.
další kompatibilní platformy zde http://xlsform.org (pravděpodobně nejsou všechny)
changed milestone to %2
removed milestone
changed milestone to %1
mentioned in issue #152
changed the description
opakovaně se potkávám s potřebami sbírat "jednoduchá data" a zakreslovat je do mapy.
Například monitoring rostlin v areálu města a podobně. Naráží to na tyto "nepřekonatelné problémy" plynoucí z nevědomosti.
dokud to někdo neuvidí, nedokáže si představit co to jako dělá...
netuší, kolik námahy by ho to stálo rozfungovat a proto k tomu neznámému má nedůvěru
neví kolik uživatelů by zadávalo data
ví akorát to, že se dá zadat jeden bod do mapy.cz (netuší jak se to dělá v OSM, nebo libovolné jiné aplikaci, kde se tato data dají shromažďovat.
koncový uživatel vpodstatě nani neví jak se takový bod zadá do mapy.cz
Pole neorané.... Ale dotace by chtěli všichni!