Šiame skyriuje aprašyta, kaip galite atlikti automatinį duomenų rinkinių įkėlimą į Lietuvos atvirų duomenų portalą naudojant Talend Open Studio įrankį. Prieš pradedant įkėlimo darbus pasitikrinkite ar turite:

• kompiuteryje sudiegtą Talend Open studio įrankį;
• Lietuvos atvirų duomenų portale užregistruotą organizaciją;
• Iš vyr. koordinatoriaus gautą organizacijos API autentifikacijos raktą.

Duomenų rinkinius į Lietuvos atvirų duomenų portalą galima kelti naudojant portalo REST API. REST API servisas skirtas organizacijoms automatizuotu būdu kelti duomenų rinkinius. Portalo REST API dokumentacija pasiekiama: https://data.gov.lt/public/api/1. Šiuo API gali naudotis tik portale registruotos organizacijos, kurios turi sugeneruotus globalius API raktus. Tik naudojantis šiais raktais galima vykdyti REST API užklausas. Jeigu Jūsų organizacija nėra registruota ar neturi API rakto, tuomet kreipkitės į Lietuvos atvirų duomenų portalo vyr. koordinatorių: https://data.gov.lt/page/kontaktai.

Talend Open Studio savo sukurtame projekte, kreipimuisi į Lietuvos atvirų duomenų portalo REST API servisą, naudokite standartinius komponentus: tFileFetch - failų įkėlimui, o tRESTClient duomenų rinkinių sukūrimui.

Duomenų failo įkėlimas naudojant tFileFetch komponentą

Standartinis Talend komponentas tFileFetch gali netik atsisiųsti failus, bet ir juos įkelti. Kad būtų galima įkelti sukurtą failą, jis turi būti transformuotas ir išsaugotas Talend užduočiai (ang. job) pasiekiamoje direktorijoje. Pagrindiniai konfigūracijos parametrai kurie turi būti nustatyti tFileFetch komponente:

Pagrindiniai parametrai (ang. Basic settings):

• Protocol – nurodomas ADP API serviso protokolas. Turi būti pasirinktas https.
• Add header – uždedama žyma ties šiuo parametru ir atsiradusioje lentelėje įtraukiama autorizacijos parametras su reikšme (Organizacijos API key):
  • Name: "Authorization"; Value: "ApiKey {OrganizationKEY}"
    {OrganizationKey} – vyr. koordinatoriaus organizacijai suteiktas API raktas.
• POST method – uždedama žyma ties šiuo parametru ir atsiradusioje lentelėje įtraukiami parametrai kurie bus perduodami kartu su failu.
  • Name: "title"; Value: „Failo pavadinimas“
    Parametras kuriuo perduodamas siunčiamo failo pavadinimas. Privalomas laukas.
  • Name: "description"; Value: „Failo aprašymas“
    Parametras kuriuo perduodamas siunčiamo failo aprašymas.
  • Name: "region"; Value: „Alytaus apskirtis“
    Parametras kuriuo perduodama siunčiamame faile esančių duomenų regioninė aprėptis pagal apskirtį.
  • Name: "municipality"; „Value“: „Alytaus miesto savivaldybė“
    Parametras kuriuo perduodama siunčiamame faile esančių duomenų regioninė aprėptis pagal savivaldybę.
  • Name: "periodStart"; „Value“: "2019-01-01"
    Parametras kuriuo perduodama siunčiamame faile esančių duomenų laiko aprėpties pradžios data.
  • Name: "periodEnd"; „Value“: "2019-02-01"
    Parametras kuriuo perduodama siunčiamame faile esančių duomenų laiko aprėpties pabaigos data.
  • Name: "issued"; „Value“: „2019-02-01“
    Parametras kuriuo perduodama siunčiamų duomenų suformavimo data.
  • Name: "version"; „Value“: „1“
    Parametras kuriuo perduodama siunčiamame failo versija.

Išplėstiniai parametrai (ang. Advanced settings):

• Upload file – uždedama žyma ties šiuo parametru ir atsiradusioje lentelėje įtraukiamas failas, kuris bus perduotas į atvirų duomenų portalą. Taip pat užpildomi parametrai:
• Name: „file“
  Parametras kuriuo nurodomas perduodamo parametro pavadinimas. Turi būti visada „file“.
• File: „C:/ADP/test.csv“
  Parametras kuriuo nurodomas kelias iki perduodamo failo.
• Content-Type: „text/csv“
  Nurodomas perduodamo failo turinio tipas.
• Charset: „UTF-8“
  Nurodoma perduodamo failo koduotė.