Nosql-neo4j-海量数据导入Neo4j

[toc]

neo4j数据批量导入

目前主要有以下几种数据插入方式：（转自:如何将大规模数据导入Neo4j）

• Cypher CREATE 语句，为每一条数据写一个CREATE
• Cypher LOAD CSV 语句，将数据转成CSV格式，通过LOAD CSV读取数据。
• 官方提供的Java API —— Batch Inserter
• 大牛编写的 Batch Import 工具 （已经停止更新）
• 官方提供的 neo4j-import 工具（https://neo4j.com/developer/guide-import-csv/#_super_fast_batch_importer_for_huge_datasets）

这些工具有什么不同呢？速度如何？适用的场景分别是什么？我这里根据我个人理解，粗略地给出了一个结果：

这边重点来说一下官方最快的neo4j-import，使用的前提条件：

• graph.db需要清空，可以指定graph.db；
• neo4j需要停掉；
• 接受CSV导入，而且格式较为固定；
• 试用场景:首次导入
• 节点名字需要唯一,ID需要唯一
• 比较适用：首次导入，无法迭代更新

1 neo4j基本参数

1.1 启动与关闭：

bin\neo4j start
bin\neo4j stop
bin\neo4j restart
bin\neo4j status

1.2 neo4j-admin的参数：控制内存

1.2.1 memrec 是查看参考内存设置

neo4j-admin memrec [--memory=<memory dedicated to Neo4j>] [--database=<name>]

参考：

$neo4j-home> bin/neo4j-admin memrec --memory=16g

1.2.2 指定缓存–pagecache

还有–pagecache单条命令指定缓存：

bin/neo4j-admin backup --from=192.168.1.34 --backup-dir=/mnt/backup --name=graph.db-backup --pagecache=4G 指的是，再该条导入数据的指令下，缓存设置。

1.3 neo4j-admin的参数：Dump and load databases - 线下备份

执行该两步操作，需要关闭数据库。参考：10.7. Dump and load databases

dump过程：把graph.db转存到.dump 需要关闭数据库

$neo4j-home> bin/neo4j-admin dump --database=graph.db --to=/backups/graph.db/2016-10-02.dump
$neo4j-home> ls /backups/graph.db
$neo4j-home> 2016-10-02.dump

load过程：把.dumpload进来 好像可以不用关闭

$neo4j-home> bin/neo4j stop
Stopping Neo4j.. stopped
$neo4j-home> bin/neo4j-admin load --from=/backups/graph.db/2016-10-02.dump --database=graph.db --force

如果带–force，那么load之后，会更新所有的存在着的.db（any existing database gets overwritten. ）

1.4 neo4j-admin的参数：backup and restore - 在线备份

参考：6.2. Perform a backup

在线备份backup ：

$neo4j-home> export HEAP_SIZE=2G
$neo4j-home> mkdir /mnt/backup
$neo4j-home> bin/neo4j-admin backup --from=192.168.1.34 --backup-dir=/mnt/backup --name=graph.db-backup --pagecache=4G
backup 进临时文件夹之中。

追加备份：

$neo4j-home> export HEAP_SIZE=2G
$neo4j-home> bin/neo4j-admin backup --from=192.168.1.34 --backup-dir=/mnt/backup --name=graph.db-backup --fallback-to-full=true --check-consistency=true --pagecache=4G

2 简单demo

• movies.csv.

movieId:ID,title,year:int,:LABEL
tt0133093,"The Matrix",1999,Movie
tt0234215,"The Matrix Reloaded",2003,Movie;Sequel
tt0242653,"The Matrix Revolutions",2003,Movie;Sequel

其中，title是属性，注意此时需要有双引号；year:int也是属性，只不过该属性是数值型的； :LABEL与：ID一样生成了一个新节点，也就是一套数据可以通过:生成双节点

• actors.csv.

personId:ID,name,:LABEL
keanu,"Keanu Reeves",Actor
laurence,"Laurence Fishburne",Actor
carrieanne,"Carrie-Anne Moss",Actor

• roles.csv.
  其中，:LABEL非常有意思，是节点的附属属性，其中personId:ID一定是唯一的，:LABEL可以不唯一。 而且，载入之后，:LABEL单独会成为新的节点，而且是去重的。

:START_ID,role,:END_ID,:TYPE
keanu,"Neo",tt0133093,ACTED_IN
keanu,"Neo",tt0234215,ACTED_IN
keanu,"Neo",tt0242653,ACTED_IN
laurence,"Morpheus",tt0133093,ACTED_IN
laurence,"Morpheus",tt0234215,ACTED_IN
laurence,"Morpheus",tt0242653,ACTED_IN
carrieanne,"Trinity",tt0133093,ACTED_IN
carrieanne,"Trinity",tt0234215,ACTED_IN
carrieanne,"Trinity",tt0242653,ACTED_IN

其中，这个节点的属性，role没有标注:，role是属性，可以加双引号，也可以不加。最好是指定一下格式，譬如:int为数值型，还有字符型roles:string[]

linux执行：

neo4j_home$ bin/neo4j-admin import --nodes import/movies.csv --nodes import/actors.csv --relationships import/roles.csv 其中，之前老版本批量导入是：neo4j-import，现在批量导入是：neo4j-admin。

Twitter用户关系导入

• Twitter用户实体 twitter.csv

• Twitter用户关系 relation.csv

• 导入

./bin/neo4j-admin import --database twitter.db --nodes ./czg/twitter/twitter.csv --relationships ./czg/twitter/relation.csv

本文使用 文章同步助手 同步