Finish script
This commit is contained in:
88
main.go
88
main.go
@@ -1,6 +1,7 @@
|
||||
package main
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"database/sql"
|
||||
"encoding/csv"
|
||||
"encoding/json"
|
||||
@@ -9,7 +10,6 @@ import (
|
||||
"io"
|
||||
"net/http"
|
||||
"os"
|
||||
"slices"
|
||||
"strings"
|
||||
|
||||
_ "github.com/go-sql-driver/mysql"
|
||||
@@ -24,49 +24,83 @@ var (
|
||||
func main() {
|
||||
flag.Parse()
|
||||
file, err := os.Open(*csvPath)
|
||||
assertNoErr(err)
|
||||
assert(err)
|
||||
records, err := csv.NewReader(file).ReadAll()
|
||||
assertNoErr(err)
|
||||
assert(err)
|
||||
|
||||
r := []string{}
|
||||
for _, record := range records {
|
||||
r = append(r, strings.TrimSpace(record[0]))
|
||||
}
|
||||
|
||||
// Elastic
|
||||
elastic := *elasticSearch + "/aips/_search?"
|
||||
res, err := http.Get(elastic)
|
||||
assertNoErr(err)
|
||||
data, err := io.ReadAll(res.Body)
|
||||
assertNoErr(err)
|
||||
|
||||
var er ElasticAipResponse
|
||||
err = json.Unmarshal(data, &er)
|
||||
assertNoErr(err)
|
||||
|
||||
fmt.Printf("Total: %d\n", er.Hits.Total)
|
||||
|
||||
result, err := os.OpenFile("aip_names.txt", os.O_TRUNC|os.O_CREATE|os.O_WRONLY, 0644)
|
||||
for _, index := range er.Hits.Hits {
|
||||
if slices.ContainsFunc(r, func(record string) bool {
|
||||
return strings.Contains(index.Source.Name, record)
|
||||
}) {
|
||||
fmt.Println("AIP Found: " + index.Source.Name)
|
||||
_, err = result.WriteString(index.Source.Name + "\n")
|
||||
assertNoErr(err)
|
||||
assert(err)
|
||||
|
||||
// Query mapping to know if it's raw or keyword: /aips/_mapping
|
||||
q := struct {
|
||||
Query struct {
|
||||
Term struct {
|
||||
Name string `json:"name.raw"`
|
||||
} `json:"term"`
|
||||
} `json:"query"`
|
||||
}{}
|
||||
for _, name := range r {
|
||||
q.Query.Term.Name = name
|
||||
var res ElasticAipResponse
|
||||
err = do(*elasticSearch+"/aips/_search", q, &res)
|
||||
assert(err)
|
||||
if res.Hits.Total == 1 {
|
||||
fmt.Println("AIP Found: " + res.Hits.Hits[0].Source.Name)
|
||||
_, err = result.WriteString(name + "\n")
|
||||
assert(err)
|
||||
} else if res.Hits.Total > 1 {
|
||||
fmt.Println("more than one match, this is not expeted")
|
||||
fmt.Println("Name: ", name)
|
||||
os.Exit(1)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func do(path string, payload, responsePayload any) error {
|
||||
var body io.Reader
|
||||
if payload != nil {
|
||||
jsonBody, err := json.Marshal(payload)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
// fmt.Println(string(jsonBody))
|
||||
body = bytes.NewReader(jsonBody)
|
||||
}
|
||||
req, err := http.NewRequest(http.MethodGet, path, body)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
req.Header.Set("Content-Type", "application/json")
|
||||
res, err := http.DefaultClient.Do(req)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
resBody, err := io.ReadAll(res.Body)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
if res.StatusCode >= 400 {
|
||||
fmt.Println(string(resBody))
|
||||
return fmt.Errorf("request failed: %s", http.StatusText(res.StatusCode))
|
||||
}
|
||||
return json.Unmarshal(resBody, responsePayload)
|
||||
}
|
||||
|
||||
func openDB(connStr string) *sql.DB {
|
||||
db, err := sql.Open("mysql", connStr)
|
||||
assertNoErr(err)
|
||||
assert(err)
|
||||
err = db.Ping()
|
||||
assertNoErr(err)
|
||||
assert(err)
|
||||
return db
|
||||
}
|
||||
|
||||
func assertNoErr(err error) {
|
||||
func assert(err error) {
|
||||
if err != nil {
|
||||
panic(err)
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user