Uvod in viri NetCDF – Shranjevanje znanstvenih podatkov

Razkritje: Vaša podpora pomaga pri vzdrževanju spletnega mesta! Za nekatere storitve, ki jih priporočamo na tej strani, zaslužimo naročnino.


Network Common Data Form ali NetCDF je niz programskih vmesnikov in knjižnic, ki so zasnovani za strojno neodvisno predstavljanje array usmerjenih znanstvenih podatkov. Podatkovni format NetCDF je odprt standard. Je samo-opisovalno, prenosno in razširljivo. Sam programski vmesnik za programiranje NetCDF (API) omogoča ustvarjanje, dostop in izmenjavo znanstvenih podatkov.

Ta dejstva so se zarotila, da je NetCDF v zadnjih desetletjih postal zelo priljubljen v skupnosti geoznanosti.

Kratka zgodovina

Projekt NetCDF je leta 1989 začela Univerzitetna korporacija za atmosferske raziskave (UCAR), neprofitni konzorcij več kot 100 univerz in visokih šol. UCAR je bil ustanovljen leta 1959 za podporo atmosferskim raziskavam in promociji znanosti.

Programsko opremo za NetCDF so razvili Glenn Davis, Russ Rew, Ed Hartnett, John Caron, Dennis Heimbigner, Steve Emmerson, Harvey Davies in Ward Fisher v programskem centru Unidata v Boulderju v Koloradu. Unidata je skupnost izobraževalnih in raziskovalnih ustanov s skupnim ciljem izmenjave podatkov o geoznanosti in orodij za dostop do teh podatkov in njihovo vizualizacijo. Unidata je eden izmed programov skupnosti UCAR (UCP), ki ga financira predvsem Nacionalna znanstvena fundacija. Unidata je tudi vir programske opreme NetCDF, razvoja standardov in posodobitev.

NetCDF je bil posodobljen in spremenjen v celotni življenjski dobi, od različice 3.x, ki je bila izdana leta 1997, do različice 4.0 od leta 2008, do različice 4.1, izdane leta 2010. Vse te različne različice NetCDF vzdržuje in posodablja Unidata. Dobra novica je, da je NetCDF združljiv za nazaj, ko gre za svoje podatkovne datoteke, kar pomeni, da lahko vse datoteke NetCDF, ki so bile kdajkoli ustvarjene, berejo in uporabljajo z zadnjo izdajo NetCDF..

Knjižnice NetCDF

Knjižnice programske opreme so sestavni del paketa NetCDF in omogočajo branje / pisanje dostopa do podatkovnih datotek NetCDF. Jedrna knjižnica NetCDF je napisana na C in ponuja API-je za C, C ++, Fortran 77 in Fortran 90. Poleg teh programskih jezikov so NetCDF API-ji, ki temeljijo na C, na voljo tudi za Perl, Ruby, Python, Haskell, Mathematica, MATLAB, IDL in R.

Za Java je na voljo tudi ločena implementacija NetCDF, ki jo razvija in vzdržuje Unidata in se imenuje NetCDF Java.

Format datotek NetCDF

Zadnja izdaja NetCDF podpira tri različne binarne formate za podatkovne datoteke NetCDF. Ti formati so se s časom razvijali in so bili uvedeni v različne izdaje NetCDF.

Klasična oblika je bila prvotno uporabljena v prvi izdaji NetCDF in še vedno je privzeta oblika za ustvarjanje podatkovnih datotek NetCDF. Klasični format NetCDF ima stroge omejitve glede strukture podatkovnih datotek, večjih od dveh gigabajtov. Bodite prepričani, da preverite te omejitve, če nameravate uporabljati in ustvarjati velike datoteke v klasični obliki.

64-bitni offset format je bil uveden v različici 3.6CD NetCDF leta 2004, kar je močno povečalo velikost spremenljivk in datotek, ki jih podpira NetCDF. 64-bitni offset format je zelo uporaben za upravljanje velikih podatkovnih datotek (več kot dva gigabajta), vendar pa lahko to obliko uporabljajo samo uporabniki z NetCDF različico 3.6.0 ali novejšo..

Format NetCDF-4 / HDF5 je bil predstavljen v različici 4.0, ki je bila izdana leta 2008. Ta oblika omogoča uporabo hierarhičnega podatkovnega formata 5 (HDF5) s polno uporabo novih lestvic dimenzij HDF5, naročanje ustvarjanja in druge napredne funkcije HDF5 različica 1.8.0.

Vsi ti formati datotek so neodvisno od platforme in se samoopisujejo, kar pomeni, da podatkovna datoteka vsebuje razdelek z glavo, ki opisuje postavitev podatkov, ki jih vsebuje preostala datoteka.

Ne glede na izbrano različico NetCDF je klasična oblika privzeta oblika za ustvarjanje podatkovnih datotek. Uporaba druge oblike je treba določiti in deklarirati med ustvarjanjem datoteke.

NetCDF Običajna uporaba in aplikacije

Ker je bil NetCDF posebej zasnovan za manipulacijo z ogromno količino znanstveno usmerjenih podatkov, se običajno uporablja v aplikacijah za meteorologijo, klimatologijo in oceanografijo. NetCDF se uporablja kot pogost format podatkov v mnogih aplikacijah informacij o geografskem sistemu (GIS) in za izmenjavo znanstvenih podatkov.

Številne znanstvene aplikacije uporabljajo NetCDF, kot so Ferret, GrADS, ArcGIS, NetCDF Explorer. Unidata ima dober seznam programske opreme, ki uporablja NetCDF.

Viri NetCDF

Če želite izvedeti več o NetCDF, predlagamo, da si ogledate nekaj naslednjih spletnih virov:

  • Uradno dokumentacijo NetCDF je prvo mesto na obisku. Najdete lahko veliko koristnih vzponov, pa tudi uradni priročnik za uporabnike NetCDF, vadnico, programske opombe in primere.
  • Uradna stran za podporo NetCDF lahko pomaga pri reševanju težav z NetCDF s povezavami do pogostih vprašanj, arhivov, poštnih seznamov in e-poštne podpore.
  • Spletno mesto Imperial College London ima lep razdelek o NetCDF, s kratkimi navodili za pridobivanje in gradnjo NetCDF, uporabniški priročnik in uporabniško vadnico s praktičnimi primeri.

NetCDF knjige

Knjige, ki posebej zajemajo NetCDF, je težko najti, poglavja o NetCDF pa boste običajno našli v knjigah o GIS in geoznanostih. Nekaj ​​knjig Fortrana omenja tudi NetCDF. To ne predstavlja težave, saj so na spletu na voljo številni kakovostni viri NetCDF.

Zaključek

NetCDF obstaja že desetletja in kmalu ne bo šlo. Čeprav je rešitev za nišne aplikacije, je NetCDF še vedno živ in brca, zato se pogosto uporablja za shranjevanje znanstvenih podatkov po vsem svetu..

Ker klimatska znanost ne more čakati, da razvijalci zagotovijo združljivost z vsako novo izdajo programske opreme, NetCDF priročno ponuja združljivo nazaj. Če ima laboratorij nabor podatkov iz konca devetdesetih, ga lahko še vedno naloži in uporabi kot zgodovinski model z zadnjo izdajo NetCDF, kar je ključnega pomena v primerih znanstvene uporabe.

Poleg hardcore znanstvenih aplikacij ima NetCDF vidno vlogo tudi v več panogah, in sicer tistih, ki se za svoje vsakodnevno delovanje zanašajo na GIS.

NetCDF je odprt standard, prost za uporabo in pristajanje na različnih platformah, kar je odlična novica za ljudi, ki jih zanima njegova uporaba, vendar obstaja slaba stran, da imajo odprto, vendar nišno programsko rešitev – ni toliko virov in skupnost je omejena.

Nadaljnje branje in viri

Na voljo imamo več vodnikov, vadnic in infografik, povezanih z matematičnim in znanstvenim računalništvom:

  • LabVIEW Programiranje Uvod in viri: znanstveni programski sistem, ki se uporablja za povezovanje s strojnimi sistemi.
  • Viri MATLAB: industrijski standard pri matematičnem računanju na visoki ravni.
  • Četrti programski viri: znanstveno programiranje, zasnovano posebej za vmesnik s strojno opremo.

Katere kode bi se morali naučiti?

Zmeden, v kateri programski jezik se morate naučiti kodirati? Oglejte si našo infografiko. Kakšno kodo bi se morali naučiti? Ne samo, da razpravlja o različnih vidikih jezikov, temveč odgovarja na pomembna vprašanja, kot so: “Koliko denarja bom zaslužil za programiranje Java?”

Katere kode bi se morali naučiti?
Katere kode bi se morali naučiti?

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me