NIMH数据存档工具

在此中心位置,您可以访问和启动NIMH Data Archive维护的所有工具。在所有情况下,都需要Java的最新版本才能使用NDA工具。不支持OpenJDK。

图形用户界面D工具

精神健康研究领域内外的研究人员都使用NDA GUID工具生成参与者标识符,该工具最初是为自闭症研究社区和国家自闭症研究数据库(NDAR)使用而开发的。 GUID工具获取研究参与者提供的个人信息,并使用它来安全地创建唯一标识符。使用此工具,参与者数据可以跨研究和实验室链接,同时始终保持参与者'的隐私。为了使用此工具,您将需要一个分配了适当权限的用户帐户。

 

启动GUID工具

 

验证和上传工具

 

协调和上传其数据到NIMH数据档案的贡献者必须使用验证和上传工具来发送他们的数据和 完成此过程。该工具连接到数据字典,然后允许您加载数据模板并根据其定义对其进行验证。这有助于确保NDA中的数据与标准保持一致,并可以用作"pre-upload"对您的数据进行质量检查。数据成功协调后,将使用相同的工具将数据打包并将其上传到您的NDA集合。除了使用CSV数据模板外,该工具 还支持从托管的AWS-RDS数据库直接上传。当前有该工具的三个不同版本。请在下面查看它们,以确定最适合您的情况。如有疑问,请使用第一个选项:HTML版本。

HTML验证和上传工具

使用该工具的该版本,您可以在网页上使用该网页,从而验证数据的质量并直接通过网络浏览器上传。支持Chrome,Firefox,Safari和Internet Explorer的最新版本

 

启动HTML验证和上传工具

 

Python验证和上传工具

该工具还可以作为 一个Python包。请通过以下方式与我们联系 保密协议Help@mail.nih.gov 有关此版本是否对您有帮助的更多信息。

 

以BIDS格式上传数据

为了支持BIDS格式的图像数据,NDA向现有的String,Integer,Float,Thumbnail,File和GUID组中添加了Manifest类型的新Data Element。清单数据元素类似于文件数据元素,其中数据提交模板指定包含文件集合的XML或JSON文件的位置。这支持创建描述相关文件资源集合的NDA数据结构的功能。 此新元素将清单中包含的文件视为关联文件以进行提交,并且将这些文件作为单个对象提取并存储在AWS S3 Object Storage中,这还使用户能够直接从文件集合中访问特定文件。 

如何使用清单提交BIDS数据:
清单文件可以使用两个NDA数据结构image03和fmriresults01提交。在清单数据元素列中列出JSON文件,而不是在image_file或metadata_files列中指示文件。到目前为止,使用这种新类型的结构的数据提交将需要使用nda-tools vtcmd工具,该工具随nda-tools python软件包一起分发

有关清单数据元素,示例和帮助程序脚本的更多信息,请参考我们的 的GitHub资料库.

 

 

下载管理器

 

被批准访问NDA共享数据的用户可以使用下载管理器来查看和下载已添加到其帐户或使用查询工具创建的数据包。在30天内,将数据下载到非AWS互联网地址的访问限制为20 TB。有关更多详细信息(包括示例),请阅读有关我们的 用户下载阈值.

注意:包含组学数据的数据包必须通过云访问 并且无法使用此工具直接下载。除了以下所述的“下载管理器”工具外, python命令行下载器 is also available.

下载管理器工具是作为一个附件提供的 Java Web Start应用程序,它是使用从NDA下载的Java网络启动协议(JNLP)文件启动的。打开JNLP文件需要Java 8的Java运行时环境(JRE),它将从NDA下载启动应用程序所需的资源。请注意,只有Java 8与NDA Download Manager兼容。

先决条件

要启动(即运行)该工具,必须满足以下先决条件:

  • 安装Java 8的Java Runtime Environment(JRE)
  • JNLP文件的副本,或JNLP文件的URL

通过打开命令提示符(Windows)或终端窗口(Mac和Linux),验证您已安装JRE的1.8版本,然后输入以下命令:java -version并按Enter键。您应该期望看到输出显示Java Runtime Environment(JRE)的已安装版本或一条错误消息,指示无法识别该命令。 JRE版本应以1.8.0_开头,后跟特定的更新版本(即Java版本)"1.8.0_261").

要获取JNLP文件的副本,请单击 下载NDA下载管理器JNLP。浏览器应开始下载名为DownloadManager.jnlp的文件。

 

安装Java 8的Java SE Runtime Environment(JRE)
 

如果您无法成功验证JRE版本1.8的安装,请下载适用于您的操作系统的安装文件,然后按照提供的安装说明进行操作。 请注意,其他JRE版本与此工具不兼容。

视窗: //www.java.com/en/download/help/windows_manual_download.xml

苹果电脑: //www.java.com/en/download/help/mac_install.xml

Linux: //www.java.com/en/download/help/linux_x64_install.xml

提供了有关安装适用于Java 8的Linux JRE以及在Java版本之间进行切换的更多说明。 这里.

 

启动下载管理器

成功安装JRE 1.8之后,您应该能够双击已下载的DownloadManager.jnlp文件(请参阅先决条件)。尝试打开或运行jnlp文件时,安装应注册Java Web Launcher可执行文件(javaws)。您可能需要为 //nda.nih.gov JRE配置中的URL,以允许应用程序运行。

如果系统无法识别要用于jnlp文件的应用程序:

  1. 打开命令提示符(Windows)或终端(Mac和Linux),
  2. 转到下载DownloadManager.jnlp文件的目录,通常是用户的Downloads文件夹,并
  3. 输入命令:javaws DownloadManager.jnlp。

当Java Web Launcher打开DownloadManager.jnlp文件时,将下载几个文件,并显示以下提示:您是否要运行此应用程序?

提示将显示以下信息:

 

名称:下载管理器
发行人:国立卫生研究院
Locations: //nda.gratlusbc.net Launched from downloaded JNLP file.

此应用程序将以不受限制的访问权限运行,这可能会使您的计算机和个人信息受到威胁。仅当您信任上面的位置和发布者时,才运行此应用程序。

 

Click on the Run button to open the Download Manager, and you will be prompted to enter your NDA 用户名和密码。After entering a valid username and password, the tool will open.

注意:输入凭据后可能会有一些延迟,尤其是在您的用户拥有大量软件包或软件包包含大量文件的情况下。

将打开一个带有警告的新屏幕,描述下载管理器的使用条款。单击“接受”按钮后,该工具将打开一个屏幕,其中包含列出您的包裹的表格。

使用下载管理器

通过单击选择要保存软件包的位置"Browse"按钮,然后选择一个具有足够空间来下载软件包的目录。显示每个软件包的表中提供了该大小。默认位置将是您用户的主目录。

选中要下载的软件包旁边的复选框,然后单击“开始下载”按钮。包裹状态必须为'Ready to Download'在开始下载文件之前。如果程序包状态为“正在创建程序包”,请按“刷新队列”按钮以更新状态。根据程序包的大小(主题记录和文件的数量),在NDA Web应用程序中启动数据包请求后,最多可能需要30分钟。

下载管理器将在您选择的位置创建一个具有包名称的目录。如果在下载过程中遇到任何错误,将在此目录中创建一个error.txt文件,其中包含详细的错误消息,并且进度条将不会100%完成。

根据您的Internet连接和存储设备(内部硬盘驱动器,网络连接的存储设备等)的性能,下载整个程序包可能需要几天才能完成。用户通常可以期望超过1 TB的软件包需要几天的时间才能下载。

如果您遇到任何错误或有其他疑问,请发送电子邮件至 保密协议Help@nih.gov。请在您的请求中包括软件包ID,以及您遇到的问题的简短描述,以及所有errors.txt文件的副本(如果存在)。

启动下载管理器

 

云访问工具

 

国立精神卫生研究所数据档案馆的任务 (NDA)是为了使研究数据可重复使用。可以使用GUID汇总跨项目收集的数据并使其可用,包括临床数据以及从同一参与者收集的成像,基因组和其他实验数据的结果。 这样,对基因型和大脑容量进行单独的实验就可以为NDA中包含的十万多个受试者提供信息。 NDA的云计算功能提供了支持该基础架构的框架。

 

它是如何工作的?

保密协议拥有并保护丰富的数据集(fastq,大脑成像) 在基于对象的存储中(Amazon S3)。为了方便访问,NDA支持 数据包的部署(通过NDA查询工具创建) 到Amazon Web Service Oracle数据库。这些 databases 在包中为每个数据结构包含一个表。联系 可以通过对NDA的S3对象的只读访问来获得数据文件。关联包中那些对象的地址 在标题为S3_LINKS的miNDAR表中提供。通过提供此接口,NDA 可以针对无需启动完整数据包即可启动的丰富数据集进行实时计算。此外,还创建了一个新的数据结构类别,称为"评估数据."将为每个miNDAR创建这些结构的表格,使研究人员可以使用NDA云功能和计算管道将所有分析数据直接写回miNDAR数据库。这将使NDA可以使用此数据 在适当的时候向一般研究社区提供。

 

miNDAR也可以用您自己的数据填充并上传 直接返回NDA,直接从托管数据库提交简化的数据。

 

我该如何开始?

在软件包创建期间,可以使用将数据软件包启动到云托管数据库的选项。您可以部署以前生成的数据包,也可以部署新的数据包。

 

启动miNDAR

要将数据移至Oracle,首先在NDA中创建一个程序包。然后,在注册后,在miNDAR选项卡上输入请求的软件包ID和凭据。这将启动miNDAR创建过程,该过程大约需要10分钟。创建后,miNDAR连接详细信息将通过电子邮件发送给您,并可用于与您的凭据建立连接。

 

访问文件

将数据下载到非AWS互联网地址的访问受到限制,请阅读我们的用户下载阈值。从AWS互联网地址进行访问是不受限制的。

档案文件 包含在包装中的是 可从Amazon Web Services(AWS)访问 S3 对象存储。每个miNDAR程序包都会有一个表“ S3_LINKS”表 containing 该包中所有对象的URI。使用 直接将网络服务呼叫至 亚马逊网络服务's S3 API, 一种 第三方工具或客户端库,这些对象中的数据可以流式传输或下载。 

为了安全起见 临时AWS凭证  需要访问S3对象。通过使用您的NDA向Web服务进行身份验证来颁发临时凭证  用户名和密码。 可以直接从Web服务获取AWS凭证(看例子 on our 的GitHub page)或下载管理器(可在两个 图形用户界面 and 命令行 version.

对于GUI版本,请转到'Tools' menu and select '生成AWS凭证'.  

对于命令行下载管理器,请使用以下语法: 

java -jar downloadmanager.jar --username用户--password pass --g 

寻求帮助 命令行下载管理器,请使用以下开关: -h, --help

Web服务提供了三个部分的临时凭证:

  • 访问密钥, 
  • 一个秘密的钥匙, 
  • 和一个会话令牌

这三个部分都是必需的,以便通过S3进行正确的身份验证并检索数据。 

此外,Web服务还提供了令牌中的令牌的到期时间戳。 YYYY-MM-DDTHH:MM:SS-TZ格式(TZ = HH:MM)。 可以随时检索新密钥。面向服务的方法 允许执行流水线过程,这些过程可以在数据处理的适当阶段请求新的密钥。 

  

额外的帮助

请看我们的 云教程 有关如何创建miNDAR的视频演示。 Please contact the 服务台 with any questions.