Úvod a zdroje NetCDF – uchovávanie vedeckých údajov

zverejnenie: Vaša podpora pomáha udržiavať web v prevádzke! Za niektoré zo služieb, ktoré odporúčame na tejto stránke, získavame poplatok za sprostredkovanie.


Network Common Data Form, alebo NetCDF, je sada softvérových rozhraní a knižníc určených na strojovo nezávislé reprezentovanie vedeckých údajov zameraných na pole. Dátový formát NetCDF je otvoreným štandardom. Je to samo popisujúce, prenosné a škálovateľné. Samotné aplikačné programovacie rozhranie NetCDF (API) umožňuje vytváranie, prístup a zdieľanie vedeckých údajov.

Tieto fakty sa koncipovali tak, že sa NetCDF stal veľmi populárnym v geovednej komunite v posledných desaťročiach.

Stručná história

Projekt NetCDF začal v roku 1989 University Corporation for Atmospheric Research (UCAR), neziskové konzorcium viac ako 100 univerzít a vysokých škôl. Spoločnosť UCAR bola založená v roku 1959 s cieľom podporovať atmosférický výskum a propagovať vedu.

Softvér NetCDF vyvinuli Glenn Davis, Russ Rew, Ed Hartnett, John Caron, Dennis Heimbigner, Steve Emmerson, Harvey Davies a Ward Fisher v Unidata Program Center v Boulder, Colorado. Unidata je komunita vzdelávacích a výskumných inštitúcií, ktorých spoločným cieľom je zdieľať geovedné údaje a nástroje na prístup a vizualizáciu týchto údajov. Unidata je jedným z komunitných programov UCAR (UCP), ktorý je financovaný predovšetkým Národnou vedeckou nadáciou. Unidata je tiež zdrojom softvéru NetCDF, vývoja štandardov a aktualizácií.

NetCDF bol počas svojej životnosti aktualizovaný a zmenený z verzie 3.x siahajúcej do roku 1997, do verzie 4.0 od roku 2008 do verzie 4.1 vydané v roku 2010. Všetky tieto rôzne verzie NetCDF sú spravované a aktualizované spoločnosťou Unidata. Dobrou správou je, že NetCDF je spätne kompatibilný, pokiaľ ide o jeho dátové súbory, čo znamená, že všetky súbory NetCDF, ktoré sa kedy vytvorili, sa dajú čítať a používať v najnovšom vydaní NetCDF..

Knižnice NetCDF

Softvérové ​​knižnice sú neoddeliteľnou súčasťou balíka NetCDF a poskytujú prístup k údajom NetCDF na čítanie / zápis. Základná knižnica NetCDF je napísaná v jazyku C a poskytuje API pre C, C ++, Fortran 77 a Fortran 90. Okrem týchto programovacích jazykov sú API NetCDF založené na C k dispozícii aj pre Perl, Ruby, Python, Haskell, Mathematica, MATLAB, IDL. a R.

Samostatná implementácia NetCDF je k dispozícii aj pre Java, je tiež vyvíjaná a udržiavaná Unidata a nazývaná NetCDF Java.

Formáty súborov NetCDF

Najnovšie vydanie NetCDF podporuje tri rôzne binárne formáty pre dátové súbory NetCDF. Tieto formáty sa časom vyvíjali a boli zavedené do rôznych netCDF reeláz.

Klasický formát bol pôvodne používaný v prvom vydaní NetCDF a stále ide o predvolený formát na vytváranie dátových súborov NetCDF. Klasický formát NetCDF má prísne obmedzenia týkajúce sa štruktúry dátových súborov väčších ako dva gigabajty. Ak plánujete používanie a vytváranie veľkých súborov v klasickom formáte, prečítajte si tieto obmedzenia.

64-bitový ofsetový formát bol zavedený v NetCDF vo verzii 3.6.0 v roku 2004, čo výrazne rozširuje veľkosť premenných a súborov podporovaných v NetCDF. 64-bitový ofsetový formát je veľmi užitočný na správu veľkých dátových súborov (viac ako dva gigabajty), tento formát však môžu používať iba používatelia používajúci NetCDF verzie 3.6.0 alebo vyššej.

Formát NetCDF-4 / HDF5 bol predstavený vo verzii NetCDF verzie 4.0 vydanej v roku 2008. Tento formát umožňuje použitie hierarchického formátu údajov 5 (HDF5) s plným využitím nových rozmerových stupníc HDF5, usporiadania tvorby a ďalších pokročilých funkcií HDF5 verzia 1.8.0.

Všetky tieto formáty súborov sú nezávislé od platformy a opisujú sa samy, čo znamená, že dátový súbor obsahuje časť hlavičky, ktorá popisuje rozloženie údajov obsiahnutých vo zvyšku súboru..

Bez ohľadu na zvolenú verziu NetCDF je predvolený formát na vytváranie dátových súborov klasický formát. Pri vytváraní súboru je potrebné špecifikovať a deklarovať použitie iného formátu.

Bežné použitie a aplikácie NetCDF

Pretože NetCDF bol špeciálne navrhnutý na manipuláciu s veľkým množstvom vedeckých údajov orientovaných na pole, bežne sa používa v meteorologických, klimatologických a oceánografických aplikáciách. NetCDF sa používa ako bežný formát údajov v mnohých aplikáciách Geografických systémových informácií (GIS) a na výmenu vedeckých údajov.

Mnoho vedeckých aplikácií používa NetCDF, napríklad Ferret, GrADS, ArcGIS, NetCDF Explorer. Unidata má dobrý zoznam softvéru používajúceho NetCDF.

Zdroje NetCDF

Ak potrebujete ďalšie informácie o NetCDF, odporúčame vám pozrieť si niektoré z nasledujúcich online zdrojov:

  • Oficiálna dokumentácia NetCDF je prvým miestom na návštevu. Nájdete mnoho užitočných zdrojov, ako aj oficiálnu používateľskú príručku NetCDF, príručku, programovacie poznámky a príklady.
  • Oficiálna stránka podpory NetCDF môže pomôcť pri riešení problémov s NetCDF, s odkazmi na časté otázky, archívy, zoznamy adries a e-mailovú podporu..
  • Webová stránka Imperial College London má peknú časť na NetCDF s krátkymi pokynmi na získanie a zostavenie NetCDF, používateľskú príručku a príručku pre používateľa s praktickými príkladmi.

Knihy NetCDF

Knihy, ktoré špecificky pokrývajú NetCDF, je ťažké nájsť a kapitoly o NetCDF nájdete zvyčajne v knihách o GIS a geoviedach. Niekoľko kníh z Fortranu tiež spomína NetCDF. To nepredstavuje problém, pretože existuje veľa kvalitných zdrojov NetCDF dostupných online.

záver

NetCDF existuje už celé desaťročia a nikam čoskoro nebude. Aj keď je to riešenie pre špecializované aplikácie, NetCDF je stále nažive a kopá a používa sa na ukladanie vedeckých údajov po celom svete..

Pretože veda o klíme nemôže čakať na vývojárov, aby zaistili kompatibilitu s každým novým vydaním softvéru, NetCDF ponúka pohodlnú spätnú kompatibilitu. Ak má laboratórium súbor údajov z konca deväťdesiatych rokov, môže ho znova načítať a použiť ako historický model pomocou najnovšieho vydania NetCDF, čo je dôležité v prípade vedeckého použitia.

Okrem tvrdých vedeckých aplikácií hrá NetCDF významnú úlohu aj v niekoľkých odvetviach, najmä v tých, ktoré sa pri svojej každodennej prevádzke spoliehajú na GIS..

NetCDF je otvorený štandard, ktorý sa dá zadarmo používať a portovať na rôzne platformy, čo je skvelá správa pre ľudí, ktorí sa zaujímajú o jeho používanie, ale nevýhodou je, že máme otvorené, ale úzko špecializované softvérové ​​riešenie – v okolí nie je veľa zdrojov a komunita je obmedzená.

Ďalšie čítanie a zdroje

Máme viac sprievodcov, tutoriálov a infografík týkajúcich sa matematických a vedeckých výpočtov:

  • Úvod a zdroje programovania LabVIEW: vedecký programovací systém, ktorý sa používa na prepojenie s hardvérovými systémami.
  • Zdroje MATLAB: priemyselný štandard v oblasti matematického výpočtu na vysokej úrovni.
  • Forth Programming Resources: vedecké programovanie navrhnuté špeciálne pre rozhranie s hardvérom.

Aký kód by ste sa mali naučiť?

Ste zmätení, v akom programovacom jazyku by ste sa mali naučiť kódovať? Pozrite si náš infographic, aký kód by ste sa mali naučiť? Diskutuje nielen o rôznych aspektoch jazykov, ale odpovedá na dôležité otázky, napríklad: „Koľko peňazí zarobím na programovanie jazyka Java na bývanie?“

Aký kód by ste sa mali naučiť?
Aký kód by ste sa mali naučiť?

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me