如何搜索我的数据库以及如何在python上存储已解析的数据

时间:2014-11-12 22:33:56

标签: python json django postgresql

我正致力于为linkedin个人资料创建解析器,以便为我的文凭项目存储候选人简历数据库。我决定把它作为Web应用程序,所以我现在使用django并且我没有什么计划:

  1. 使用linkedin API获取JSON格式的信息
  2. 将其存储在Postgres
  3. 在网站上创建一个搜索,可以同时由多个连接使用,并且可以更新。
  4. 但我有一些问题:

    我不知道应该怎么做来存储这些信息。我知道我有一些像json这样的数据。

        [
     {'categories': ['Web Development',
                      'Software Development',
                      'Writing & Translation'],
      'country': 'India',
      'description': 'I do ...',
      'feedback': '4.8424790960452',
      'id': '~aaaa9999d3f394624e',
      'last_activity': 'June 17, 2014',
      'member_since': 'July 21, 2011',
      'name': 'John Johnson',
      'portfolio_items_count': '1',
      'portrait_50': 'https://...',
      'profile_type': 'Independent',
      'rate': '22.22',
      'skills': ['python',
                  'django-framework',
                  'mongodb',
                  'jquery',
                  'html5',
                  'postgresql'],
     'test_passed_count': '3',
     'title': 'Web Developer'},
     {
       # Another freelancer
     },
     # ...
    ]
    

    但是我无法理解我应该怎么做才能创建表并将这些信息放入其中。所以,如果你给我提供一些例子,它会很好。

    第二个问题是,我根本不知道如何搜索我需要的信息。例如,我需要搜索" Programmer"我希望得到这个词出现或相对的所有数据。例如"我曾经是一名程序员,但现在我作为项目经理工作了#34;或者"我有使用PHP"编程的技巧。对我而言,它很简单,就像我只是在字符串中搜索一个单词来搜索亲戚,我需要将我的单词缩短为引理,但我想它并不像我想象的那样。

    而且我想能够更新我的数据库我应该使用AJAX + JQuery,我是对的吗?

2 个答案:

答案 0 :(得分:1)

  1. 如果使用Django,请根据JSON格式创建模型 如果没有,请通过Postgres手动创建表。
  2. 创建脚本以从linkedin API提取所有数据并将其存储在Postgres数据库中。
  3. 使用Django ORM或原始SQL对您在Postgres中搜索的自由文本执行LIKE查询。最好使用所有数据加载搜索引擎(如ElasticSearch),以便您可以执行标记化搜索,从而针对自由文本搜索返回相对值。

答案 1 :(得分:0)

我认为更新版本的postgres有一个JSON数据类型,但是我不确定django是否支持查询它,查找要查找的内容。

通常与数据源集成需要您评估您拥有的数据类型(您发布的json)

您将如何存储数据,

如何从数据Feed中提取和转换数据以导入系统

实际导入它


看看饲料,有几件事情很突出。

一个Profile模型,其中m2m为Skill个模型,m2m为Category模型

这样可以让您轻松快速查找给定特定类别或技能的任何配置文件


django教程提供了关于如何创建模型,与模型交互,使用模型保存数据以及如何查询模型的非常好的示例。