#wechat-sync-venus
- w
WeChat-Sync
03/10/2023, 3:48 AM🆎 只打鱼不晒网:
有人做过 把数据从hive 导入到图库中么 - w
WeChat-Sync
03/10/2023, 3:48 AMDue to a high volume of activity, we are not displaying some messages sent by this application. • Details - w
WeChat-Sync
03/10/2023, 3:50 AM😣 程训焘:
蛤？ - w
WeChat-Sync
03/10/2023, 3:50 AM😣 程训焘:
「ZGT：点可能会变，每个点的内容也可能会变，感觉可能删了重建图会简单点吧」 - - - - - - - - - - - - - - - 不会更简单 一定会更麻烦 - w
WeChat-Sync
03/10/2023, 3:50 AM🕖 ZGT:
「程训焘： 删除是持久化的 所有变更都是持久化的」 - - - - - - - - - - - - - - - 感谢大佬，看来可能只有删除图再重建了 - w
WeChat-Sync
03/10/2023, 3:50 AM😣 程训焘:
「ZGT：点可能会变，每个点的内容也可能会变，感觉可能删了重建图会简单点吧」 - - - - - - - - - - - - - - - 点的内容可以更新 - w
WeChat-Sync
03/10/2023, 3:50 AM🕖 ZGT:
现在是把入库的数据搂到前端，然后前端用户修改图，然后把修改后的图再入库 - w
WeChat-Sync
03/10/2023, 3:50 AM🍭 NebulaGraph 讨论群 · Venus:
"明"与群里其他人都不是朋友关系，请注意隐私安全 - w
WeChat-Sync
03/10/2023, 3:50 AM🕖 ZGT:
点可能会变，每个点的内容也可能会变，感觉可能删了重建图会简单点吧 - w
WeChat-Sync
03/10/2023, 3:50 AM🕖 ZGT:
「程训焘：这种玩法扩展性很差，数据量大了就不行了，除非你不考虑扩展性」 - - - - - - - - - - - - - - - 感谢大佬，请问大佬在图库的使用方法上有什么推荐吗？ - w
WeChat-Sync
03/10/2023, 3:50 AM🕖 ZGT:
数据量一般吧～ - w
WeChat-Sync
03/10/2023, 3:50 AM😣 程训焘:
「ZGT：所以说大佬，最好还是按需更新图吗？缺点就删点，边有调整就调整边，点内容有更新就更新点」 - - - - - - - - - - - - - - - 是啊，数据库就是干这个事情的呀，否则你其实不需要数据库，搞个啥离线的大数据平台更合适 - w
WeChat-Sync
03/10/2023, 3:50 AM🕖 ZGT:
所以说大佬，最好还是按需更新图吗？缺点就删点，边有调整就调整边，点内容有更新就更新点 - w
WeChat-Sync
03/10/2023, 3:50 AM🤠 织寒:
应该是个子图吧，总不至于直接拎一整个库出来改吧。 - w
WeChat-Sync
03/10/2023, 3:50 AM🤠 织寒:
「只打鱼不晒网： 通过spark 提交导入任务 找不到数仓的地址？ 但是config 已经配置了」 - - - - - - - - - - - - - - - 发一下你的config配置 - w
WeChat-Sync
03/10/2023, 3:50 AM🤠 织寒:
是个子图可以读到缓存里，拿个图框架存着做可视化，用户的修改你可以存下来（不管什么方式，持久化mysql也行，做个小git那种可以回退的也行），然后最后入库直接把最终修改映射到nebula里，哪些要删哪些要加。内存里的直接丢了也行或者你看办法能不能复用。 - w
WeChat-Sync
03/10/2023, 3:50 AM🤠 织寒:
官方这个配置是用的jdbc连的，你把这些配置去了看能不能跑，把hivesite文件丢到spark的conf里，如果你们的spark集群和hive的是隔离的，我不清楚官方后面的版本有没有加强这部分，我是改了代码把整个hive site配置读进去了 - w
WeChat-Sync
03/10/2023, 3:50 AM🕖 ZGT:
[收到了一个表情，请在手机上查看] - w
WeChat-Sync
03/10/2023, 3:50 AM😣 程训焘:
少几个点就删几个点啊 为啥要删图重建 - w
WeChat-Sync
03/10/2023, 3:50 AM🤠 织寒:
你可以改一下这块代码遍历hive site的配置文件全读到sparksql的配置里 - w
WeChat-Sync
03/10/2023, 3:50 AM👫 404:
就是为了拿到你Hive的元数据 - w
WeChat-Sync
03/10/2023, 3:50 AM😣 程训焘:
「ZGT：感谢大佬，请问大佬在图库的使用方法上有什么推荐吗？」 - - - - - - - - - - - - - - - 推荐多看NebulaGraph的文档！ - w
WeChat-Sync
03/10/2023, 3:50 AM🆎 只打鱼不晒网:
把那部分配置 去掉了 - w
WeChat-Sync
03/10/2023, 3:50 AM🤠 织寒:
你的spark集群能直接访问hive就没必要搞这些配置，说明你们spark集群的配置文件里有hive相关的配置了，代码里配置优先级大于配置文件的，所以你可以先把这部分配置去掉试试看 - w
WeChat-Sync
03/10/2023, 3:50 AM🕖 ZGT:
刚才织寒大佬有提到使用guava缓存，如果采用nebula+guava缓存的方案，这个是业界常用的配置吗 - w
WeChat-Sync
03/10/2023, 3:50 AM🕖 ZGT:
「程训焘：这种玩法扩展性很差，数据量大了就不行了，除非你不考虑扩展性」 - - - - - - - - - - - - - - - 感谢大佬，请问大佬有没有一些推荐的nebula使用的案例？这种架构可能确实有点粗糙，但是暂时也不知该咋改进了 - w
WeChat-Sync
03/10/2023, 3:50 AM🆎 只打鱼不晒网:
好像也没找到 - w
WeChat-Sync
03/10/2023, 3:50 AM🕖 ZGT:
是这样的 只修改其中的子图[破涕为笑] - w
WeChat-Sync
03/10/2023, 3:50 AM🕖 ZGT:
感谢两位大佬 - w
WeChat-Sync
03/10/2023, 3:50 AM🤠 织寒:
但是具体实践我也没做过[吃瓜]